tft每日頭條

 > 圖文

 > robot怎麼消失了

robot怎麼消失了

圖文 更新时间:2024-12-01 10:13:18

robot怎麼消失了?有一天主管說你去了解下Robot.txt吧,當時一愣,這是個什麼?原諒我不懂技術的懵逼臉,哈哈,然後就去研究了下,以下是研究結果,給跟我一樣不懂技術的人看,哈哈~~,現在小編就來說說關于robot怎麼消失了?下面内容希望能幫助到你,我們來一起看看吧!

robot怎麼消失了(Robot除了機器人原來還有這個意思)1

robot怎麼消失了

有一天主管說你去了解下Robot.txt吧,當時一愣,這是個什麼?原諒我不懂技術的懵逼臉,哈哈,然後就去研究了下,以下是研究結果,給跟我一樣不懂技術的人看,哈哈~~

Robot英文直譯是機器人,在搜索引擎優化SEO中經常翻譯為:探測器。 當然,也可以叫crawler(爬行器),spider(蜘蛛)。個人覺得Spider是最好理解的,你可以想象下你的網站就是一個蜘蛛網,而這個Spider就可以通過這個網絡去爬取信息,你可以通過設置Robot.txt來限制Spider的爬行範圍。

Robots 三個語法和兩個通配符

1,User-agent: 搜索引擎的spider代号 (定義所有搜索引擎),

2,DisAllow: 輸入數據夾或文件名的路徑 (用來定義禁止蜘蛛爬取的頁面或目錄)

Disallow: /(禁止蜘蛛爬取網站的所有目錄 "/" 表示根目錄下)

Disallow: /admin (禁止蜘蛛爬取admin目錄)

Disallow: /ABC.html (禁止蜘蛛爬去abc.html頁面)

Disallow: /help.html (禁止蜘蛛爬去help.html頁面)

3、Allow:(用來定義允許蜘蛛爬取的頁面或子目錄)

Allow: /admin/test/(允許蜘蛛爬取admin下的test目錄)

Allow: /admin/ABC.html(允許蜘蛛爬去admin目錄中的abc.html頁面)

4、通配符 “$”

$ 通配符:匹配URL結尾的字符

5、通配符 “*”

* 通配符:匹配0個或多個任意字符

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关圖文资讯推荐

热门圖文资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved