robot怎麼消失了?有一天主管說你去了解下Robot.txt吧,當時一愣,這是個什麼?原諒我不懂技術的懵逼臉,哈哈,然後就去研究了下,以下是研究結果,給跟我一樣不懂技術的人看,哈哈~~,現在小編就來說說關于robot怎麼消失了?下面内容希望能幫助到你,我們來一起看看吧!
有一天主管說你去了解下Robot.txt吧,當時一愣,這是個什麼?原諒我不懂技術的懵逼臉,哈哈,然後就去研究了下,以下是研究結果,給跟我一樣不懂技術的人看,哈哈~~
Robot英文直譯是機器人,在搜索引擎優化SEO中經常翻譯為:探測器。 當然,也可以叫crawler(爬行器),spider(蜘蛛)。個人覺得Spider是最好理解的,你可以想象下你的網站就是一個蜘蛛網,而這個Spider就可以通過這個網絡去爬取信息,你可以通過設置Robot.txt來限制Spider的爬行範圍。
Robots 三個語法和兩個通配符
1,User-agent: 搜索引擎的spider代号 (定義所有搜索引擎),
2,DisAllow: 輸入數據夾或文件名的路徑 (用來定義禁止蜘蛛爬取的頁面或目錄)
Disallow: /(禁止蜘蛛爬取網站的所有目錄 "/" 表示根目錄下)
Disallow: /admin (禁止蜘蛛爬取admin目錄)
Disallow: /ABC.html (禁止蜘蛛爬去abc.html頁面)
Disallow: /help.html (禁止蜘蛛爬去help.html頁面)
3、Allow:(用來定義允許蜘蛛爬取的頁面或子目錄)
Allow: /admin/test/(允許蜘蛛爬取admin下的test目錄)
Allow: /admin/ABC.html(允許蜘蛛爬去admin目錄中的abc.html頁面)
4、通配符 “$”
$ 通配符:匹配URL結尾的字符
5、通配符 “*”
* 通配符:匹配0個或多個任意字符
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!