網站蜘蛛文件robots.txt是搜索引擎訪問網站時要查看的第一個文件，它告訴蜘蛛程序在服務器上什么文件是可以被查看的，什么文件是被禁止抓取的。
當搜索蜘蛛訪問一個網站時，它會首先檢查該站點根目錄下是否存在robots.txt，如果文件存在，搜索機器人就會按照該文件中的內容來抓取允許訪問的內容；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被禁止的頁面。
robots.txt必須放在網站的根目錄下，而且文件名必須全部小寫。
robots是站點與spider搜索引擎蜘蛛溝通的重要渠道，站點通過robots文件聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。
Robots使用說明
1、robots.txt可以告訴百度等搜索引擎您網站的哪些頁面可以被抓取，哪些頁面不可以被抓取。
2、Robots工具目前支持48k的文件內容檢測，請保證您的robots.txt文件不要過大，目錄最長不超過250個字符。
robots.txt使用技巧
1、避免在robots.txt文件中設置所有的文件都可以被搜索蜘蛛抓取，這樣并不會增加網站的收錄率。
2、在robots.txt文件里設置不要讓搜索蜘蛛索引的文件。一般網站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數據庫文件、js文件、css樣式表文件、模板文件和背景圖片等。 這些文件不會增加網站的收錄率，還會浪費服務器資源。
3、如果網站是動態網頁，并且為這些動態網頁生成了靜態頁面，以供搜索蜘蛛更容易抓取。那么需要在robots.txt文件里設置避免動態網頁被蜘蛛索引，以保證這些網頁不會被視為含重復內容。
4、robots.txt文件里是可以直接引用sitemap網站地圖文件的。例如：
Sitemap: http://m.jceks.cn/sitemap.xml
這樣做的好處就是，搜索引擎的蜘蛛抓取robots.txt文件時，會讀取其中的sitemap路徑，從而順利抓取其中各個鏈接的網頁。
這樣做的好處就是，搜索引擎的蜘蛛抓取robots.txt文件時，會讀取其中的sitemap路徑，從而順利抓取其中各個鏈接的網頁。
關于robots.txt的更多相關資料可參考：https://ziyuan.baidu.com/college/courseinfo?id=267&page=12
微萬品牌建站可為每個客戶免費制作、檢測robots文件，以確保搜索引擎正確的抓取網站頁面。如需新建網站、網站改版、網站托管等服務，歡迎與我們聯系！
老網站為什么一定要改版升級成自適應網站
杭州網站制作公司定制企業官網選擇域名需要注意的問題
忘記網站后臺地址或后臺登錄密碼了怎么辦
網站制作費用是一次性的還是每年都要續費呢