絡上有形形色色的網站，不同類型的網站爬蟲策略不同，難易程度也不一樣。從是否需要登陸這方面來說，一些簡單網站不需要登陸就可以爬，比如之前爬過的貓眼電影、東方财富網等。有一些網站需要先登陸才能爬，比如知乎、微信等。這類網站在模拟登陸時需要處理驗證碼、js 加密參數這些問題，爬取難度會大很多。費很大力氣登陸進去後才能爬取想要的内容，很花時間。

這是小編準備的py thon學習資料，想學習py thon或者人工智能的都可以私信小編“01”獲取學習資料！

是不是一定要自己動手去實現每一個網站的模拟登陸方法呢，從效率上來講，其實大可不必，已經有前人替我們造好輪子了。

最近發現一個神庫，彙總了數十個主流網站的模拟登陸方法：

• 知乎
• 微信網頁版登錄并獲取好友列表
• Bilibili
• Facebook
• 無需身份驗證即可抓取Twitter前端API
• 微博網頁版
• QQZone
• CSDN
• 淘寶
• Baidu
• 果殼
• JingDong 模拟登錄
• 163mail
• 拉鈎
• 豆瓣
• Baidu2
• 獵聘網
• Github
• 爬取圖蟲相應的圖片
• 網易雲音樂
• 糗事百科

這些網站基本采用的是直接登錄或者 selenium webdriver 方式。每一個網站都有完整的模拟登陸代碼，拿來就可以用到自己的爬蟲中。

下面我們來測試一下。

先說說很難爬的「知乎」，假如我們想爬取知乎主頁的 HTML 内容，就必須要先登陸才能爬，不然看不到這個界面。下面來簡單梳理一下流程。

知乎需要手機号才能注冊登陸。為了方便測試，可以随便找個手機号

順利登錄後就可以進入主頁了。

下面，我們用這個庫提供的代碼來模拟登陸，輸出主頁 HTML 内容作測試。操作很簡單，隻需要輸入手機号、密碼和驗證碼就可以了。

成功登陸後，接下來就可以做一些有意思的事了。比如曾有人爬取所有知乎賬号的信息，分析了知乎用戶群體畫像。

是不是有點意思。

再來看看微信。用上面的微信代碼可以把全部微信好友信息爬取下來，比如：昵稱、性别、地域、個性簽名。接着可以分析一下你的朋友圈是什麼樣的，應該會很有趣。

還可以爬 B 站：

還可以爬鍊家租房信息：

還有很多實用有趣的内容，就不一一羅列了，感興趣的話可以試試

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部