網絡爬蟲是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本。
拓展資料:
它們被廣泛用于互聯網搜索引擎或其他類似網站,可以自動采集所有其能夠訪問到的頁面内容,以獲取或更新這些網站的内容和檢索方式。從功能上來講,爬蟲一般分為數據采集,處理,儲存三個部分。 傳統爬蟲從一個或若幹初始網頁的URL開始,獲得初始網頁上的URL,在抓取網頁的過程中,不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為複雜,需要根據一定的網頁分析算法過濾與主題無關的鍊接,保留有用的鍊接并将其放入等待抓取的URL隊列。
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!