python 分析爬取的數據-tft每日頭條

python 分析爬取的數據

科技更新时间:2024-06-30 02:32:06

爬取時間2022/8/15

用于爬取的電腦配置:16内存,中端CPU12核.Windows系統

python版本3.8.5

省略了從主網頁一步步爬取鍊接挖掘到m3u8文件的過程,直接以能下載到視頻的m3u8文件開始.

注:>>>>多線程爬取視頻見代碼1

>>>>> os模塊合成視頻文件及其最大合成數見代碼2

代碼如下

python 分析爬取的數據（python多線程爬取）1

代碼1--下載視頻

python 分析爬取的數據（python多線程爬取）2

代碼2--用os合成ts和mp4文件

代碼1的運行結果

python 分析爬取的數據（python多線程爬取）3

結果1--pycharm的顯示結果

python 分析爬取的數據（python多線程爬取）4

結果2--文件管理器中的結果

代碼2的運行結果

python 分析爬取的數據（python多線程爬取）5

結果1--文件管理器中的結果

python 分析爬取的數據（python多線程爬取）6

結果2--最後合成的視頻-左(網站視頻)-右(爬取合成後的視頻)

----------------------------------------------

代碼1及其結果可以看到(及額外說明):

1>創建了40個線程數,

2>爬取3586個ts文件,大小為545M

3>共花費210秒的時間

4>爬取期間電腦CPU使用率一直維持在13%-18%左右,内存使用率無變化

用單程爬取這個視頻的話,需要整整兩個小時,(親測)

用異步協程爬取這個視頻的話,個人估計60-70秒左右.(親測用異步十秒不到就爬了700多ts文件,結果被網站屏蔽了)

----------------------------------------------

代碼2及其結果可以看到(及額外說明):

1>反複手動修改後的代碼,不想修改可以弄循環一次性解決

2>每次取650個ts文件合并,

3>合并成了第1-6個mp4文件,

4>最後再把1-6的MP4文件合并成最終的MP4文件.

5>再打開網站的視頻作對比,時長是一樣的,畫面也能做到同步,那麼爬取正确

os模塊合成ts文件文件數量最大在650左右,(一次性取700個ts文件合并失敗)

網絡盛傳的最大數在450左右,隻能說實踐出真知.東西是不斷在更新的.

----------------------------------------------

最後附上雲盤的源代碼以及ts文件鍊接

代碼>阿裡雲盤分享 ts文件>阿裡雲盤分享

----------------------------------------------

重點:

>>>>僅供個人學習,請于24小時内删除. 如要觀看視頻,請支持正版.

>>>>悠着點爬,勿大流量爬取.

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部

网友关注

科技京東雙十一買哪個手機好
随着手遊的不斷火熱，近些年遊戲手機這一品類也備受遊戲玩家的青睐，希望收獲到比普通旗艦更為有效的遊戲體驗加成。那麼，想要收獲性能更為突出、散熱更高效、操作更為帶感以及遊戲優化更佳的手遊黨，在此次雙十一有什麼好選擇嗎？如果看過京東手機競速榜單之... 2023-02-26
科技 baby黃曉明時尚芭莎
黃曉明與哈尼克孜“不雅視頻”曝光，baby發聲辟謠：請停止造謠！不知道大家的手機最近有沒有被黃曉明與哈尼克孜的新聞刷屏，娛樂圈裡面的明星最怕的就是傳出绯聞，更何況黃曉明是已婚之夫，這樣的绯聞傳出來，必然會對家庭和事業都造成惡劣的影響，在“不... 2023-02-02
科技瑪卡是補腎陽虛嗎
瑪卡是補腎陽虛嗎?小編在這裡提醒大家，自覺做到不造謠、不信謠、不傳謠，共同維護清朗有序的網絡空間，現在小編就來說說關于瑪卡是補腎陽虛嗎?下面内容希望能幫助到你，我們來一起看看吧!瑪卡是補腎陽虛嗎小編在這裡提醒大家，自覺做到不造謠、不信謠、不... 2023-03-08
科技 OPPOR9plus怎樣連接電視?
OPPOR9plus怎樣連接電視?如果你的電視是智能電視，可以使用手機的視頻軟件的跨屏功能在電視播放，下面我們就來說一說關于OPPOR9plus怎樣連接電視?我們一起去了解并探讨一下這個問題吧!OPPOR9plus怎樣連接電視如果你的電視是... 2022-06-24
科技哪種遊戲本最适合玩大型3d網遊
對電腦硬件略有了解的網友都知道，因為蘋果的Mac系統過于封閉以及底層設計等原因，盡管現在Mac的硬件配置已經越來越高，但是“軟件荒”卻依舊是個嚴峻的問題，很多原本在Windows端輕而易舉就能使用的軟件，根本沒可能在Mac端使用，尤其是遊戲... 2022-12-11
科技手機内存滿了用電腦怎麼清理
#風船計劃2.0#訂閱上百個公衆号手機相冊的照片經常導緻卡機收件地址往往要删除一個才能新增圖片來自網絡内存滿了，糾結不知道删除哪個？你可能患了“數字囤積症”，得治！不做數據的奴隸，全面進行數字排毒，讓自己成為數據真正的主人！帶你了解“數字囤... 2023-02-15
科技 wdelements機械移動硬盤測評
本文首發于極果，且産品源于極果。對于硬盤，相信大家都不會陌生。特别是硬盤分類下的移動硬盤，常常成為商務人士、學生群體的好幫手。選擇一個穩定可靠、性能強勁、顔值不錯的移動硬盤作為随身攜帶，可以大大提高移動辦公的效率。本文所要上手的LaCie保... 2023-02-23
科技這款小遊戲你玩過嗎簡單易懂
我們經常利用電腦做一些辦公，寫稿等重要的工作。不過，這些事情經常做會容易産生枯燥乏味的感覺，再加上自己一個人工作就更加寂寞和無聊。國外一名開發人員利用空閑之餘，制作了一款名叫Desktopgoose的桌面寵物遊戲。這時你可能認為——這款遊戲... 2023-01-08
科技華為5g小米5g哪個手機好
經曆過2020年5G手機普及，大多數品牌5G手機來到千元價位，市場上很難見到新發布4G手機。日前，個推大數據發布2020年5G手機各大品牌/具體手機型号激活終端數據，看完整個排名之後令人感到十分詫異，小米是不是被遺漏了？個推大數據計算202... 2023-02-10
科技養豬場防非瘟
華龍網-新重慶客戶端訊（記者張勇）8月14日下午4點10分，重慶市榮昌區消防救援支隊接到報警稱，高溫天氣，在榮昌區昌元街道許溪村，一家養殖場停水10個小時，導緻1000多頭、價值200多萬元的生豬中暑，缺水嚴重，急需補充水源。接到報警後，距... 2023-02-19
科技 u8存貨核算方法
´案例1下月票到，完全結算1月18日購買的400個CPU到貨，發票尚未收到。庫管員驗貨辦理入庫手續。2月底發票仍未收到，财務人員按照合同約定價格将這筆業務登記入賬。财務人員确認本月需記帳業務均已處理完畢後，進行期末處理與月末結帳工作。2月1... 2023-02-12
科技蘋果13卡頓原因
剛剛發布的小米12系列不僅一如既往的堆料，而且在堆料的基礎上，還帶來了多項優化體驗的新技術，包括智能動态刷新率、動态性能調節及相機啟動和拍攝速度快等等...當然了，要說小米12系列感知最強的體驗，那麼自然還是全新的MIUI13系統了，MIU... 2023-01-03
科技登錄一個網站忘記了密碼怎麼辦
我是一個非常容易忘記密碼的人，經常新設密碼半個小時以後就忘記了。我們平時要注冊的賬号那麼多，你是否和我一樣苦于健忘呢？本文向大家分享，平時我是如何解決忘記密碼問題的。1、好記性不如爛筆頭。我自知記性不好，所以我設置了新密碼後，都會及時将密碼... 2023-02-10
科技固态硬盤100%占用解決方法
固态硬盤100%占用解決方法?右擊“此電腦”→“管理”，打開“設備管理器”；(或WIN+X，然後打開設備管理器)；，我來為大家講解一下關于固态硬盤100%占用解決方法?跟着小編一起來看一看吧!固态硬盤100%占用解決方法右擊“此電腦”→“管... 2022-06-07
科技電腦端微信怎麼使用小程序
8月9日微信開放社區公告顯示，微信正在測試PC端支持打開小程序的功能。“我們希望通過這一探索，幫助用戶在聊天場景中更連貫地使用小程序。目前該能力支持windows7及以上版本操作系統，Mac将在近期開啟測試。該能力形态在測試階段将進行不斷優... 2023-02-04
科技運動指令movec的功能和特點
工業自動化是在工業生産中采用自動控制、自動調整等生産裝置來代替人工生産、人工操作機器加工生産的行業趨勢。自動化作為降低生産風險、降低生産成本、提高生産效率等的現代化手段之一，在工業生産中逐步替代了低效率、産品質量不可控、生産高損耗的人工生産... 2023-03-01
科技透鏡成像公式适用的條件
透鏡成像公式及相關結論的推導, 2023-03-25
科技家用永久免費k歌軟件tv版本
軟件名稱：XXK歌本版特點：VIP特權版主要功能：唱歌、練歌适用平台：TV（安卓）軟件大小：31.4M軟件概要這是一個可以單人獨唱，也可以與他人合唱的音樂交友娛樂軟件，支持唱完後期處理、調整聲音特效等功能，并發布作品讓大家收聽，和大家一起互... 2023-03-09
科技高清插畫素材網站
設計師必備免費可商用1.icons8icon8出品必屬精品國外著名的UI網站icon8推出的高質量矢量圖庫，裡面有很多種插畫風格可使用在不同的工作場景中(可免費下載png圖片，付費開通svg及源文件)2.opendoodles-手繪風格的插... 2022-11-03
科技原來4位的手機密碼怎麼改為6位
曾有不法分子竊取個人手機，在應用中竊取用戶個人信息，然後申請網貸消費，造成用戶财産損失的案例。引發了網友對手機個人信息保護和财産安全的擔憂。為此，工信部還提醒用戶及時設置SIM卡密碼，盡快挂失手機，增強安全風險意識。SIM卡密碼是什麼？為什... 2022-12-19
科技聯想筆記本電腦x1carbon4代
聯想筆記本電腦x1carbon4代?[閩南網]聯想與CES2019期間更新旗下多個筆電産品線，其中X1Carbon進化為全碳纖編織外殼，電競新品支持RTX20系顯卡此外還推出了一款類似SurfaceStudio的一體式工作站機型——YOG... 2023-03-20
科技 wps恢複未保存的文件
WPS辦公軟件其操作簡單快捷，是除了微軟自家辦公軟件之外，最受用戶喜愛的辦公應用之一。但很多人也有過在使用WPS的過程中，突然遭遇突然關機、死機、WPS卡死的狀況，導緻文件未能及時保存，或者提示文件在試圖打開文件時遇到錯誤。今天“電腦那些事... 2022-11-05
科技蘋果5s照相閃光燈怎麼關
蘋果5s照相閃光燈怎麼關?問答堂>手機>其他分類>蘋果5s手機閃光燈打開不亮,相機打開黑的,大家知道為什麼麼?謝謝，下面我們就來聊聊關于蘋果5s照相閃光燈怎麼關?接下來我們就一起去了解一下吧!蘋果5s照相閃光燈怎麼關問答堂>手機>其他分類>... 2023-02-01
科技 rng和fpx誰更強
時間來到1月8日，LPL觀衆迎來了春季賽開啟前的最後一個周末，17支身披LPL戰袍的職業戰隊熬夜訓練，希望赢下自己在新賽季的首場BO3常規賽，其中就有正面碰撞的LOL全球總冠軍FPX、兩次捧起Msi季中邀請賽金杯的RNG。S12系列賽到來前... 2023-03-10
科技個稅單位扣繳端導入上年數據
都說會計的電腦碰不得，因為裡面存了許多财物信息，有些還是屬于商業機密的内容。但是不知道你有沒有想過一個問題，當電腦壞了的時候要咋辦......财務小劉最近遇到煩心事，想要更換工作的電腦，但裡面可是存在幾千人的個稅扣繳信息，那怎麼辦呀？本期小... 2023-02-18
科技小米10至尊紀念版最新的系統
小米官方近日公告了一批機型，表示後續将停止開發版内測公測。公告顯示，2022年10月31日起，小米10至尊紀念版、RedmiK30S至尊紀念版、RedmiK30至尊紀念版、RedmiNote9、RedmiNote94G、RedmiNote9... 2023-02-26
科技丢失的電腦數據如何找回
電腦是我們生活和工作中必不可少的夥伴，在使用電腦的時候因為種種原因可能導緻我們所需要的數據丢失，例如誤删系統文件，電腦斷電文檔沒保存等等。下面小編總結了常見的幾種數據丢失的情況，一起看看相對的解決辦法吧。情況一：誤删系統軟件，電腦無法正常運... 2023-02-04
科技文件被清理後要怎麼恢複
怎麼恢複被清理的文件？通常我們電腦中都會安裝一個清理垃圾文件的軟件，這樣可以很方便的一鍵就清理垃圾，釋放内存了，清理軟件還有深度清理的功能，要是我們在使用深度清理功能的時候，不小心把重要文件給清理了，可以恢複嗎？該怎麼恢複呢？是可以恢複的，... 2022-11-30
科技 s27賽季全英雄最新出裝銘文
攻略目錄：一、S24賽季打野梯度排名、最新出裝銘文推薦二、S24賽季輔助梯度排名、最新出裝銘文推薦三、S24賽季中單梯度排名、最新出裝銘文推薦四、S24賽季戰坦梯度排名、最新出裝銘文推薦五、S24賽季射手梯度排名、最新出裝銘文推薦梯度排名與... 2023-01-03
科技 excel辦公技巧怎麼排序
1.排序法（最基本的方法）2.RANK函數法（最常用的排名函數）簡析：RANK函數是求某一個數值在某一區域中的排名。第3個參數"0"表示降序，即成績高的在前，低的靠後。3.COUNTIF函數法（常用的四大函數之一）簡析：COUNTIF函數統... 2023-02-12

tft每日頭條

> 科技

> python 分析爬取的數據

python 分析爬取的數據

相关科技资讯推荐

热门科技资讯推荐

网友关注