robots.txt協議是網站和搜索引擎的協議。

作為網站優化人員，一定要會看robots文件，也要會寫robots文件，那麼，robots.txt文件有什麼作用？

robots.txt文件的作用有：

（1）引導搜索引擎蜘蛛抓取指定内容或欄目。比如，有的網站部分内容，隻有注冊會員後，登陸會員功能才能看到更多内容。

（2）網站改版或者URL需要重寫優化的時候屏蔽對搜索引擎不友好的鍊接。

（3）屏蔽死鍊接、404頁面；

（4）屏蔽無内容頁面、無價值頁面；

（5）屏蔽重複頁面，如搜索結果頁、評論頁面等；

（6）屏蔽任何不想收錄頁面；

（7）引導蜘蛛抓取網站地圖。

網站設置robots.txt可以集權到網站重要頁面，保護網站安全。

知道了robots.txt的作用和設置robots.txt的必要性後，我就要知道robots.txt怎麼寫？

User-agent:Baiduspider

DisAllow:/

禁止百度抓取

User-agent:*

Disallow:/

不允許所以蜘蛛抓取

User-agent:Baiduspider

Disallow:/baidu/

禁止訪問/baidu/裡面的所有文件夾

User-agent:*

Disallow:/baidu/huaxia.js

緊張蜘蛛抓取某個文件夾下面的某個内容

知道了這些，我們就根據robots.txt文件的寫法和實際需要。把寫好的robots.txt文件，通過FTP網站後台打開上傳網站跟目錄就可以了。

為了方便各位朋友學習，robots.txt文件我們舉例寫一下，供需要學習的朋友參考：

User-agent: *

Disallow: /baidu/huaxia.js

指定所有搜索引擎蜘蛛抓取站點根目錄下/baidu/文件夾下的huaxia.js文件

User-agent: *

Allow: /baidu/ccc

Disallow: /baidu/

禁止所有搜索引擎抓取baidu文件夾

但可以抓取百度文件夾下含有ccc的文件及文件夾

User-agent: *

Disallow: /*.js$

禁止抓取站點根目錄所有js文件

User-agent: *

Disallow: /*.css$

禁止抓取站點根目錄下所有css文件

User-agent: *

Disallow: /*？*

禁止蜘蛛抓取所有動态路徑

Sitemap: 域名/sitemap.xml

網站地圖寫法

robots.txt書寫規格

robots.txt文件書寫注意事項：

英文符号下寫；

冒号後要有空格；

首個字母要大寫；

/ 網站根目錄（網站所有）

其實，robots.txt文件，隻要熟悉理解代碼，書寫和應用很簡單。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!