Robots通俗來說就是你的網站跟各大搜索引擎蜘蛛之間的溝通方式，可以通過這個文件告訴搜索引擎的蜘蛛哪些文件可以被抓取，哪些文件不能被蜘蛛抓取。智優營家seo團隊小隆經常會碰到客戶網站robots全站屏蔽蜘蛛，這樣的情況網站是不可能會被收錄的。

　　因為一個網站并非是所有的文件都跟排名有關系的，有些文件不能直接參與排名，例如網站的css文件，js文件以及一些死鏈接等。對于這些沒有排名價值的文件我們就需要給它屏蔽掉，屏蔽以后讓蜘蛛把更多的精力放在有排名價值的頁面上。

　　robots文件全稱是robots.txt,文件名需小寫并放在網站的根目錄下面。通過輸入域名加robots.txt就可以查看到網站的robots文件。

　　強調下：并非是所有公司的網站都有這個文件，有很多公司網站沒有這樣的文件。如果沒有這樣的文件，那么我們就建議給網站添加這個文件。因為蜘蛛在抓取你網站的時候首先就會檢測你的站點下面有沒有這個文件，如果有，蜘蛛會按照你上面所寫的指定文件進行抓取，如果沒有這個文件，蜘蛛則會全部抓取。下面以optionprotraders.com/robots.txt為例：

　　robots的內容包括什么？

　　robots文件的具體寫法

　　User-agent:蜘蛛的名稱

　　*是一個通配符代表的是所有搜索引擎蜘蛛的名稱

　　Disallow:禁止抓取的文件名稱

　　Allow:允許抓取的文件名稱

　　以后我們在書寫這個文件的時候基本上是Disallow記錄寫的比較多一點，除了禁止剩下都是允許的。

　　Disallow:/admin禁止抓取admin這個目錄，那么這個admin目錄就不能被收錄

　　Disallow:/a/*.htm禁止抓取a目錄下面所有以.htm結尾的文件不能被抓取收錄

　　這條記錄表名你的網站全部禁止抓取收錄，這樣的記錄正常情況下不能使用。當我們的網站在改版或者換模板情況下，肯定會存在死鏈接，所以我們在改版或者換模板前直接使用這個記錄申請閉站保護。

　　Disallow:/*？*禁止抓取網站所有的帶有？的網址（禁止抓取動態網址）

　　DISallow:/Show.asp?id=870

　　建議你要是書寫禁止動態網址你可以具體化寫出來禁止的路徑。

　　Disallow:/.jpg$禁止抓取網站所有以.jpg格式的圖片

　　Disallow:/img

　　Disallow:/img1

　　Disallow:/ab/abc.html

　　最安全最保險的最笨的方法禁止某個文件不被抓取

　　在書寫這個robots文件的時候一定要注意需要結合不同的網站，那么書寫的禁止文件目錄名稱都是不一樣的。所以你想寫好這個文件，你就要知道網站的根目錄的文件都是干嘛的，了解哪些目錄對于排名有價值，哪些目錄文件對于排名沒價值。

　　智優營家seo團隊小隆在書寫robots過程中會有兩個注意點，第一是盡量禁止蜘蛛訪問無意義的內容，因為蜘蛛到訪的時間有限，重要的內容才是它的重點；第二是需要出現網站地圖的位置，讓蜘蛛能快速了解你的網站所有內容，這樣蜘蛛才能發現你的變化和重點的內容。這就是智優營家seo團隊在設置robots會注意到的地方，你get到了么？