360綜合搜索官方今日正式宣布，360綜合搜索爬蟲-360蜘蛛正式推出。站長(cháng)可(kě)以通過設置網站robots.txt文(wén)件來決定是否允許360搜索蜘蛛（360Spider）抓取網站内容。

如果站長(cháng)希望自己的網站被360綜合搜索收錄，可(kě)以先檢查一下您的網站robots.txt 文(wén)件是否允許360搜索蜘蛛抓取。如果您的網站還沒有(yǒu)允許360搜索蜘蛛抓取，隻要在robots.txt 文(wén)件中(zhōng)添加下面的代碼就可(kě)以啦：

User-agent: 360Spider

Allow: /

據站長(cháng)之家旗下服務(wù)超級監控發現，360搜索蜘蛛在上周就已經出現，之所以沒有(yǒu)正式推出，是因為(wèi)産(chǎn)品剛上線(xiàn)時對robots協議處理(lǐ)有(yǒu)異步延遲的情況。目前，360綜合搜索已全面改進。

同時，360綜合搜索官方表示，360蜘蛛同樣支持disallow命令，如果網站設置了通用(yòng)的disallow，360搜索是不會去抓取頁(yè)面的。