通用網絡爬蟲捜索引擎抓取系統(Baidu、Google、Yahoo等)的重要組成部分。主要目的是将互聯網上的網頁下載到本地,形成一個互聯網内容的鏡像備份。但是大多數情況下,網頁裡面90%的内容對用戶來說是無用的。
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!