1、爬蟲技術即網絡爬蟲(又稱為網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱為網頁追逐者),是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模拟程序或者蠕蟲。
2、網絡爬蟲按照系統結構和實現技術,大緻可以分為以下幾種類型:通用網絡爬蟲(GeneralPurposeWebCrawler)、聚焦網絡爬蟲(FocusedWebCrawler)、增量式網絡爬蟲(IncrementalWebCrawler)、深層網絡爬蟲(DeepWebCrawler)。實際的網絡爬蟲系統通常是幾種爬蟲技術相結合實現的。
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!