做SEO的站長都知道，網站想要有排名首先要有收錄，而網站內容收錄跟搜索引擎蜘蛛的來訪抓取有很大的關系。那么搜索引擎蜘蛛是不是越多越好呢？

　　不論是什么搜索引擎爬蟲來抓取你的網站，肯定是在消耗你的網站資源，比如網站的連接數、空間流量、服務器負載等。另外，搜索引擎來抓取你的頁面之后，也不一定會收用數據，或許只留下“到此一游”的痕跡而已，有些搜索引擎只是過來找它想要的資源，甚至是其他開發人員的蜘蛛測試。

　　一個URL結構合理、原創內容豐富的網站簡直是各種搜索引擎爬蟲的大餐，很多網站的訪問流量中，爬蟲帶來的流量甚至會超過真實用戶訪問的流量。

　　對于那些想提高網站有效利用的網站，雖然設置了相當嚴格的反爬蟲策略，但是網站處理的動態請求數量依然是真實用戶訪問流量的兩倍。可以肯定的說，如今互聯網的網絡流量有一大部分都是爬蟲帶來的，所以反搜索引擎爬蟲是一個值得探索發現和解決的問題。

　　因此，站在SEO的觀點來看，搜索引擎蜘蛛來網站訪問并不是越多越好，并且要合理的屏蔽無效的搜索引擎蜘蛛的抓取。下面為大家整理了一部分搜索引擎蜘蛛的名稱。

　　1、百度蜘蛛：baiduspider

　　2、谷歌蜘蛛：googlebot

　　3、360蜘蛛：360spider

　　4、SOSO蜘蛛：sosospider

　　5、雅虎蜘蛛：”Yahoo!SlurpChina”或者Yahoo!

　　6、有道蜘蛛：youdaobot

　　7、搜狗蜘蛛：sogounewsspider