robots文件是網站和各大搜索引擎建立良好溝通的橋梁，也是網站從搜索引擎獲得流量的開端第一步，因為robots的設置不當，很有可能會失去很大一部分的流量。對于SEO優化的從業者或者是愛好者，必須要知道其中的原理和設置方法，對于網站管理員及相關的開發技術人員，了解robots.txt文件的設置方法是一項額外加分的工作技能。網上也有很多的相關教程，但總是殘缺不全或難以理解，所以決定詳細的梳理一遍。

robots.txt的作用是什麼？

robots.txt文件隻有一個作用：用于屏蔽一個或多個搜索引擎禁止收錄你網站上的内容。默認情況下網站都是允許任何搜索引擎抓取和收錄頁面的，但出于某種目的，你可以屏蔽某個或多個搜索引擎收錄你網站上的頁面，為了達成這一共識，于是robots協議就順利誕生了，所有的搜索引擎都遵循robots協議。

每個搜索引擎都一個被稱為蜘蛛（spider）或機器人（bot）的程序，我們習慣上稱之為“蜘蛛”，在決定是否抓取你的網站頁面時，蜘蛛會首先檢查你網站的根目錄裡面是否存在robots.txt文件，如果沒有robots.txt則說明是允許全部抓取的；如果存在robots.txt文件，蜘蛛會識别裡面有沒有自己的名稱在被拒絕之列，然後再判斷你設置的那些内容是不允許抓取的，再進行網頁的抓取和收錄。

robots.txt文件的寫法

基本語法

默認情況下是整個網站全部允許被任何搜索引擎抓取收錄的，robots.txt隻用于禁止搜索引擎收錄，所以隻需要添加搜索引擎蜘蛛的名稱（User-agent）和disAllow（禁止收錄的内容）即可，特殊情況下也可以使用allow語法。

1. User-agent: *
2. Disallow: /
3. Allow: *.html$
4. #seo

需要注意首字母大寫，冒号後面是英文狀态下的一個空格，用“井号”來表示注釋說明，支持 "*" 匹配0或多個任意字符，"$" 匹配行結束符，對大小寫敏感，所以要注意文件或文件夾的名稱精确匹配，為了搜索引擎能更好地識别robots.txt文件，建議保存編碼設置為ANSI編碼，下面舉例說明各種用法及設置。

robots.txt各種寫作方法

1、屏蔽所有的搜索引擎收錄任何頁面

屏蔽搜索引擎的搜索引擎隻需要把user-agent設置為*即可，如下所示，而disallow後面的斜杠則表示根目錄，自根目錄以下的任何内容均不允許收錄，兩行代碼即可。

1. User-agent: *
2. Disallow: /

2、允許所有的搜索引擎收錄所有頁面

所有的搜索引擎均允許，可以把robots.txt文件裡面的内容全部删除，即保留一個空文件就行，還可以使用下面的代碼來說明。

1. User-agent: *
2. Allow: /

3、僅允許指定的搜索引擎收錄

需要把搜索引擎蜘蛛的名稱寫在前面，最後使用*來匹配全部，代碼如下。僅允許百度和谷歌收錄，其他搜索引擎全部禁止。

1. User-agent: baiduspider
2. Allow: /
3. User-agent: googelebot
4. Allow: /
5. User-agent: *
6. Disallow: /

第5、6兩句是禁止所有的，前面允許了指定的蜘蛛名稱，所以除了被允許的百度和谷歌蜘蛛，其他的搜索引擎都不能收錄的網站頁面了。

4、禁止指定的搜索引擎收錄

如果隻是想有針對性的屏蔽某個或多個搜索引擎，比如禁止百度和谷歌蜘蛛，寫法如下。

1. User-agent: baiduspider
2. Disallow: /
3. User-agent: googelebot
4. Disallow: /
5. User-agent: *
6. Allow: /

由于默認是allow狀态的，所以第5句、6句一般不寫。隻寫disallow的部分。你可能已經發現了，user-agent後面隻能是具體的蜘蛛名稱或星号，而disallow和allow後面的内容是全站時均使用斜杠而不是其他符合，因為他們後面的是指網站的目錄，所以在指向目錄時就不能使用别的符合，比如“disallow：*”這個寫法就錯了。

禁止抓取和收錄目錄及文件的寫作語法，下面分别舉例說明。

1、禁止搜索引擎收錄指定的目錄

1. User-agent: *
2. Disallow: /asf/
3. Disallow: /2020/

上的意思是對于所有的搜索引擎，均禁止收錄asf和2020文件夾裡面的任何内容。在屏蔽文件夾時最後要加斜杠結束，如果這樣寫“Disallow: /2020”，結尾沒有加斜杠，則表示根目錄下以2020開頭的網址均被禁止，如/2020.html、/2020abc.html、/2020/df.html均被禁止收錄，所以在寫作disallow屏蔽目錄時千萬不要弄錯了。

2、允許搜索引擎收錄禁止目錄中的特定URL

如果屏蔽了某個目錄“df”，但是又希望df這個目錄中指定的網頁被收錄怎麼辦，使用下面的語法即可。

1. User-agent: *
2. Allow: /df/111.html
3. Allow: /df/*22c.php
4. Disallow: /df/

allow要寫在前面，後面再緊跟着寫屏蔽的目錄名稱。這種寫法比較少用，一般都是直接屏蔽目錄就沒有必要再允許其中的某幾個或某一類url還要被收錄了，上面代碼第2句指允許收錄根目錄df文件夾裡面的111.html這個頁面，第3句指允許收錄根目錄df目錄下包含“22c.php”的所有url均允許收錄，第4句是禁止收錄df目錄下的全部url，允許收錄的寫在前面。

3、使用星号來匹配某一類網址

星号可以匹配一種類型的網址，極大地提高了設置的方便性，在使用過程中要熟練掌握，SEO優化的設置中如果經常會遇到屏蔽某一類型的網址，使用*就非常常見。

1. User-agent: *
2. Disallow: /abc/
3. Disallow: /*?*
4. Disallow: /rt/jc*
5. Disallow: /*.php
6. Disallow: /*ps*
   

第3句禁止收錄動态網址，第4句禁止收錄rt目錄下以jc開頭的url，第5句禁止收錄包含“.php”的url（包含以.php結尾的url在内，如h.php、as.php?id=2、dd.php23.html均被禁止），第6句禁止收錄網址中含有“ps”的url。

4、使用$來匹配URL結束

如果需要屏蔽某類型結尾的url或文件，此時就需要用到結束匹配符号“$”。

1. User-agent: *
2. Disallow: /abc/*ty.php$
3. Disallow: /*.php$
4. Disallow: /*.jpg$

上面第2句禁止收錄abc目錄下以ty.php結尾的url，第3句禁止收錄全站以.php結尾的url，第4句禁止收錄全站jpg格式的圖片。可以看到如果是屏蔽具體的某一類後綴名url則需要以$作為結束。

5、禁止搜索引擎收錄圖片語法

禁止收錄網站圖片主要用到$和*匹配符，寫法也是很簡單的。

• User-agent: *
• Disallow: /*.jpg$
• Disallow: /*.jpeg$
• Disallow: /*.png$
• Disallow: /*.gif$

以上分别是禁止收錄全站jpg/jpeg/png/gif格式的圖片。

6、隻允許搜索引擎收錄靜态頁面

1. User-agent: *
2. Allow: /*.html$
3. Disallow: /

配合allow來使用，禁止收錄全站任何url，然後使用allow來允許收錄以“.html”結尾的url即可。

以上就是全部robots文件的寫法，其中難點是通配符星号的是用和結束符$的使用，要學會靈活的舉一反三，在每寫完一條記錄時都要确保沒有屏蔽錯url，每行一條記錄。對于robots.txt文件，每一次在寫完之後都認真檢查一遍，寫錯了損失就大了。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!