python 分析爬取的數據-tft每日頭條

python 分析爬取的數據

科技更新时间:2025-02-12 04:54:56

爬取時間2022/8/15

用于爬取的電腦配置:16内存,中端CPU12核.Windows系統

python版本3.8.5

省略了從主網頁一步步爬取鍊接挖掘到m3u8文件的過程,直接以能下載到視頻的m3u8文件開始.

注:>>>>多線程爬取視頻見代碼1

>>>>> os模塊合成視頻文件及其最大合成數見代碼2

代碼如下

python 分析爬取的數據（python多線程爬取）1

代碼1--下載視頻

python 分析爬取的數據（python多線程爬取）2

代碼2--用os合成ts和mp4文件

代碼1的運行結果

python 分析爬取的數據（python多線程爬取）3

結果1--pycharm的顯示結果

python 分析爬取的數據（python多線程爬取）4

結果2--文件管理器中的結果

代碼2的運行結果

python 分析爬取的數據（python多線程爬取）5

結果1--文件管理器中的結果

python 分析爬取的數據（python多線程爬取）6

結果2--最後合成的視頻-左(網站視頻)-右(爬取合成後的視頻)

----------------------------------------------

代碼1及其結果可以看到(及額外說明):

1>創建了40個線程數,

2>爬取3586個ts文件,大小為545M

3>共花費210秒的時間

4>爬取期間電腦CPU使用率一直維持在13%-18%左右,内存使用率無變化

用單程爬取這個視頻的話,需要整整兩個小時,(親測)

用異步協程爬取這個視頻的話,個人估計60-70秒左右.(親測用異步十秒不到就爬了700多ts文件,結果被網站屏蔽了)

----------------------------------------------

代碼2及其結果可以看到(及額外說明):

1>反複手動修改後的代碼,不想修改可以弄循環一次性解決

2>每次取650個ts文件合并,

3>合并成了第1-6個mp4文件,

4>最後再把1-6的MP4文件合并成最終的MP4文件.

5>再打開網站的視頻作對比,時長是一樣的,畫面也能做到同步,那麼爬取正确

os模塊合成ts文件文件數量最大在650左右,(一次性取700個ts文件合并失敗)

網絡盛傳的最大數在450左右,隻能說實踐出真知.東西是不斷在更新的.

----------------------------------------------

最後附上雲盤的源代碼以及ts文件鍊接

代碼>阿裡雲盤分享 ts文件>阿裡雲盤分享

----------------------------------------------

重點:

>>>>僅供個人學習,請于24小時内删除. 如要觀看視頻,請支持正版.

>>>>悠着點爬,勿大流量爬取.

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部

网友关注

科技 iphone無線充電有提示但無法充電
據外媒報道，蘋果新一代手機iphone6s将有一項重大的突破，那就是無線充電。iphone6s無線充電闆看上去就像iPhone的背面，簡約時尚。事實上，無線充電一直是近年來新iPhone傳聞中必不可少的功能。今天小編就為大家帶來了iPhon... 2022-11-03
科技微盟智慧零售和微商城的區别
微盟身處數字化時代浪潮，為商家提供數字化新商業解決方案，緻力于成為企業數字化轉型的最佳夥伴，這不僅是公司的使命，也是微盟堅持長期主義的核心戰略定位。伴随着微盟集團大客化、生态化、國際化三大戰略的深入貫徹，微盟相信幫助“客戶成功”是承載三大戰... 2022-12-07
科技越獄系統版本
在各種因素影響下，願意越獄的朋友越來越少，要做這樣的選擇題的機會也不多了吧~如果你的iOS10系統可以越獄，那麼你願意不願意越獄呢？在過去幾年時間裡，與以往相比，将iPhone或者說iPad越獄已經沒那麼火了，不過那些我們熟悉的越獄社區，依... 2022-12-21
科技廣州證件照哪裡拍好看
最近小編在辦公室呆膩了想要到外面走走順便拍拍照片靈光一閃想到做一個照相館的測評給大家總結一下“廣州城内有哪些拍證件照拍的很好的照相館”所以，這兩個星期旅拍菌帶着我們家的美女設計師和攝影小鮮肉跑了廣州的10家照相館給廣州的“最美證件照”做了一... 2022-11-03
科技筆記本顯卡壞了怎麼辦
筆記本顯卡壞了怎麼辦?如果是顯卡故障導緻顯示畫面有問題的話，有可能是顯卡的接觸面有也許多髒東西，可以永恒橡皮擦把他們試着擦幹淨，或者用吹風機對着顯卡吹，把那髒東西揮着灰塵吹走，頭幾次可能顯卡會恢複正常工作，如果這樣還是不管用的話，那隻能更換... 2022-07-21
科技手機電池不耐用有什麼好方法
手機電池不耐用有什麼好方法?有人說隻要手機還有電和流量，今天小編就來說說關于手機電池不耐用有什麼好方法?下面更多詳細答案一起來看看吧!手機電池不耐用有什麼好方法有人說隻要手機還有電和流量孤獨就追不上我！的确，手遊、社交、拍照……智能手機早已... 2022-10-04
科技手機網絡有延遲怎麼辦
手機網絡有延遲怎麼辦?信道擁堵導緻WiFi不穩定步驟1：進入無線路由器設置頁面，在無線網絡設置中找到信道設置；，我來為大家科普一下關于手機網絡有延遲怎麼辦?下面希望有你要的答案，我們一起來看看吧!手機網絡有延遲怎麼辦信道擁堵導緻WiFi不穩... 2022-06-12
科技一加五手機開機密碼忘記
一加五手機開機密碼忘記?搜索一下“刷機精靈”，進入官網下載安裝好最新版本，不過在開始刷機前，手機電量要充足，建議最少30%以上電量剩餘，手機内存或外置SD卡至少有大于ROM包100M以上的剩餘容量，今天小編就來說說關于一加五手機開機密碼忘記... 2022-06-26
科技陝西汽車尾氣清潔劑廠家
陝西汽車尾氣清潔劑廠家?同花順（300033）金融研究中心3月29日訊，有投資者向龍蟠科技（603906）提問，董秘你好：6d4n新能源汽車産業發展規劃（2021-2035）的發布以及碳達峰、碳中和目标的設定，均為氫能産業及氫燃料電池汽車的... 2022-10-23
科技石英凍石的概念
石英凍石的概念?作者丨趙曉晨編輯丨吳蓉，我來為大家科普一下關于石英凍石的概念?以下内容希望對你有幫助!石英凍石的概念作者丨趙曉晨編輯丨吳蓉鄧飛舟的辦公室牆壁上挂着一幅世界地圖，因臨近窗戶的原因，這幅地圖被陽光曬得稍微有些褪色，與其形成鮮明對... 2022-10-10
科技 bw音響如何連藍牙
前言現在的科技數碼産品越來越新潮了，居然還有藍牙音箱自帶顯示屏，邊聽歌還能邊播放歌詞，在家也能馬上秒變KTV，更有氛圍感。這也是我第一次見這種類型的影音産品，和現在的同類音箱相比，可以說是非常有創意的一個設計，這就是我剛入手的Lyiew懸浮... 2022-10-26
科技 amd最強核顯性能
IntelKabyLake-G處理器首次整合了AMDVegaGPU圖形核心，性能強大得不像話，GTX1050Ti千元級别以下的顯卡完全都不是對手。年初的CES2018大會上，Intel推出了新款旗艦級NUC迷你機“HadesCanyon”，... 2022-11-09
科技 vivo手機隐藏的十個功能
現在的智能手機更新換代的速度非常快，近年來vivo手機也随着手機的快速發展，而迅速抓住了很多年輕人的市場，因為它時尚的外觀和強大的拍照功能得到了許多年輕人的青睐，所以小編盤點了6個被網友們認為比較好用的功能，看看你都用過了嗎？1、隔空操作在... 2022-11-06
科技電腦開機後黑屏
電腦開機後黑屏?可以直接使用“Ctrl+Shift+Esc”快捷鍵直接打開任務管理器程序；，我來為大家科普一下關于電腦開機後黑屏?以下内容希望對你有幫助!電腦開機後黑屏可以直接使用“Ctrl+Shift+Esc”快捷鍵直接打開任務管理器程序... 2022-06-16
科技夢幻西遊跨服轉區哪一年出的
夢幻西遊：大量服務器即将開放平轉，跨服倒賣人人都能做夢幻西遊現在對轉服做了很多限制，增加了煙花競拍，但是每年會有兩次平轉開放。一般是在過年前後和國慶節前後，按照慣例，即将到來，不少人摩拳擦掌準備大幹一場了。回頭看看這幾年的平轉開放，一般都是... 2022-12-03
科技諸葛亮在什麼時代發明了木牛流馬
《三國演義》的第一百二十回回目叫做，司馬懿占北原渭橋諸葛亮造木牛流馬。這一回說明諸葛亮六出祁山，七擒孟獲，最主要的還是發明了一種新式的運輸工具，叫做木牛流馬。關鍵是這種運輸工具解決了十萬大軍的糧草運輸，并且相當先進，完全不使用能源作為依賴。... 2022-10-22
科技手機4g信号變成e怎麼辦
在我們使用手機的過程中，網速非常重要，因為大家都會使用手機上網，如果網速不夠快的話，那就會出現付不了賬、發不出去消息的情況，非常耽誤事，現在出現了一個新的業務，那就是攜号轉網服務，主要是因為現在很多運營商的網絡實在是太慢了，經常出現從4G變... 2022-11-01
科技如何把圖片做成視頻在電視上播放
如何把圖片做成視頻在電視上播放?将需要制作成視頻的多張照片放在一個文件夾内，下面我們就來聊聊關于如何把圖片做成視頻在電視上播放?接下來我們就一起去了解一下吧!如何把圖片做成視頻在電視上播放将需要制作成視頻的多張照片放在一個文件夾内。下載安裝... 2022-06-01
科技使用spss進行數據分析評價
嶺南師範學院“曦望”社會實踐隊（通訊員王榕）今天學習了一些SPSS統計分析方法及應用，但是由于不是自己的專業知識，所以學習起來有點吃力。但是我們在進行調研的時候收集了許多問卷，這些問卷的數據龐大且龐雜，這就需要我們用到spss軟件去進行科學... 2022-12-03
科技合肥機場出行證明
合肥機場自助行李托運系統。合肥機場供圖合肥機場自助行李托運系統。合肥機場供圖中新網合肥9月10日電(張強方明楊)出門坐飛機，忘帶身份證怎麼辦？記者10日從合肥機場獲悉，目前該機場已啟用eID身份電子證照安全檢查系統，旅客隻要在手機上辦理了身... 2022-11-21
科技手機應用更新在哪裡設置
手機應用更新在哪裡設置?手機應用更新在手機應用市場設置，下面我們就來聊聊關于手機應用更新在哪裡設置?接下來我們就一起去了解一下吧!手機應用更新在哪裡設置手機應用更新在手機應用市場設置。第一步：點擊手機應用市場；第二步：在手機應用市場中點擊“... 2022-07-05
科技如何設置手機的語音輸入法
使用智能手機難免要用上輸入法打字，那怎樣高效準确的在手機上輸入所需内容呢？我們知道輸入方式分拼音、手寫、五筆、筆畫、倉颉、注音等多種輸入法。其中拼音輸入法用戶最多，畢竟這是從小學習識字的基本功，大家都會，國内做的比較出名的要屬搜狗拼音輸入法... 2022-12-25
科技蘋果手機通訊錄導入sim卡
蘋果手機通訊錄導入sim卡?以iPhoneXSMax手機為例：點擊iPhoneXSMax手機設置，進入iPhoneXSMax手機主界面，我來為大家科普一下關于蘋果手機通訊錄導入sim卡?以下内容希望對你有幫助!蘋果手機通訊錄導入sim卡以i... 2022-06-11
科技朱婷與李盈瑩最新比賽
随着中國女排2022世界聯賽大名單的公布，球迷們關心的各參賽隊員的數據也一并展示了出來，這些數據中包括身高、扣球以及攔網的高度等等。值得一提的是，在這份名單裡，00後小将吳夢潔的數據很是亮眼，她也被球迷認為是新生代主攻手中最具有天賦的一位。... 2022-11-24
科技好不容易周傑倫
“這世上的熱鬧，出自孤單。”隻用一首歌的時間，周傑倫重新向所有人證明了，華語樂壇之王就算鴿了六年，依然一個中午就可以重回巅峰。這首歌，就是《最偉大的作品》的先行曲《最偉大的作品》。3分多鐘的MTV，就像一部微縮版的《午夜巴黎》，仿佛一點都不... 2022-11-28
科技折疊屏手機什麼時候技術成熟
想要了解更多熱門資訊、玩機技巧、數碼評測、科普深扒，可以點擊右上角關注我們：雷科技----------------------------------小雷記得以前小時候，手機是非常非常“貴重”的物品、一台屏幕還沒邊框大、沒自拍沒指紋，操作全... 2022-11-25
科技機械硬盤和固态硬盤差距有多大
一、什麼叫做硬盤硬盤是什麼：硬盤是電腦用來做儲存文件、數據的主要硬件之一，比如電腦系統、遊戲、音樂都是儲存在硬盤裡面。二、硬盤種類有哪些而目前市面上主要能買到的硬盤類型：機械硬盤、固态硬盤、混合硬盤機械硬盤機械硬盤是傳統的硬盤類型，很早就發... 2022-11-06
科技影響功率器件性能的因素
影響功率器件性能的因素?電力電子技術的核心是電能的變換與控制，常見的有逆變（即直流轉交流）、整流（即交流轉直流）、變頻、變相等在工程中拓展開來，應用領域非常廣泛但千變萬化離不開其核心——功率電子器件，下面我們就來說一說關于影響功率器件性能的... 2022-12-10
科技買手機送什麼東西劃算
【電腦報在線】年會上眼睜睜的看着同事抽中手機，想換新機的自己偏偏沒那個好運，難道隻有原價在官方購買了嗎？别傻了，多的是收禮或中獎之後閑置在一邊然後低價轉賣的人，幹嘛不試試買閑置手機呢？據了解，被賤賣的手機多為知名品牌中高檔型号，以iPhon... 2022-11-09
科技用心教育學考研網課
各個省份的成績都陸續公布了，如果成績不理想，那麼把握好調劑環節是很目前最重要的，做得好同樣是可以上岸的。今天用心團隊關注到武漢郵電科學研究院在調劑信息中提到國家調劑系統開放時間為3月19日(周五)按照往年的規律，調劑系統開放時間一般是在國家... 2022-12-10

tft每日頭條

> 科技

> python 分析爬取的數據

python 分析爬取的數據

相关科技资讯推荐

热门科技资讯推荐

网友关注