python合并兩個列表并去重-tft每日頭條

python合并兩個列表并去重

科技更新时间:2024-12-02 15:45:59

本文以爬取一部小說為例,因使用的是多線程爬取,所以每個小說章節都是一個txt文件,而這些文件都是亂序的,要閱讀的話我們也不可能每閱讀一章小說就去翻另一個txt文件,這時就需要合并了.

----------------------------------------

爬取時間2022/8/16

代碼如下:

python合并兩個列表并去重（大量亂序文件如何合并成有序的）1

代碼1-25行

python合并兩個列表并去重（大量亂序文件如何合并成有序的）2

代碼28-49行

python合并兩個列表并去重（大量亂序文件如何合并成有序的）3

代碼50-75行

運行結果:

python合并兩個列表并去重（大量亂序文件如何合并成有序的）4

pycharm中的結果

python合并兩個列表并去重（大量亂序文件如何合并成有序的）5

文件管理器中的結果

從結果中可以看到,程序從運行到結束,一共花了3秒鐘,

三秒内做完了從網站獲取url鍊接,再通過120個url下載了120個txt文件,合并成一個大的txt文件後,再删除之前的120個小txt文件.

----------------------------------------------

代碼10-25行>>>

從主頁面發起請求,結合bs4和正則獲取了小說每個章節的url鍊接和名字,并将順序正常的名字寫入叫1000.txt的文件. 第22行用unicodedatach處理了文本中的非正常空格(類似 )

代碼第28-39行>>>

以每個章節的url為函數參數,獲取了小說内容,并寫入txt文件,

用章節名 (例如: 第四十九回琉璃世界白雪紅梅　脂粉香娃割腥啖) 作為xxt文件的名字. 因為原本的章節名含有空格以及非正常空格,不利于後續排序處理,就采用正則提取了 "第"和"回"中間的文字作為txt文件名.

python合并兩個列表并去重（大量亂序文件如何合并成有序的）6

不用正則處理xtxt文件名就是這個樣子

代碼第69-71行>>>

創建了線程池下載txt文件

代碼第41-55行>>>

打開名為1000.txt文件,提取裡面的正常順序的章節名,以此作為已下載的120個txt文件的合并順序.

代碼第57-61行>>>

将之前下載的120個小txt文件删除,保留合并後的大的txt文件,接下來就可以愉快地閱讀小說了

python合并兩個列表并去重（大量亂序文件如何合并成有序的）7

手機中顯示的效果

注: 将ts文件合并成MP4文件也是通用的,但需要注意的是使用os模塊單次合并ts文件數量在650個左右,不到700個.

至于用os模塊單次合并txt文件的數量限制是多少,暫時未測試.

----------------------------------------------

最後:源碼以及小說txt文件,封面原圖鍊接阿裡雲盤分享

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部

网友关注

科技萬能快捷鍵了解一下
如何讓一台普通的電腦脫離鼠标和鍵盤的束縛？相信是很多差友們經常會幻想的一個話題，矽谷的一家公司leapmotion已經把差友們的幻想變成了現實。他們開發了一款傳感器，能夠跟蹤差友們手部運動的軌迹，然後讓大家隔空對着電腦屏幕就能進行一些騷操作... 2023-03-09
科技宅在家新鮮事
新型病毒的爆發，讓不少人變成了居家宅男宅女。大家常說：“在家不出門，就是在對祖國做貢獻！”，如何打發無聊的居家時間，成為了大家一直所苦惱的問題。打開家中閑置多年的電視，想重溫下兒時的經典影視劇。滿屏幕的“會員專享”不禁讓我們心生不快。而手機... 2022-10-27
科技涼州詞古詩朗讀及解釋
原文：《涼州詞》其一（唐、王之渙）黃河遠上白雲間，一片孤城萬仞山。羌笛何須怨楊柳，春風不度玉門關。注釋：1、涼州詞：又名《出塞》。為當時流行的一首曲子（《涼州詞》）配的唱詞。2、原題二首，此其一，郭茂倩《樂府集》卷七十九《近代曲詞》載有《涼... 2022-12-08
科技如何自己動手給蘋果手機換屏
蘋果手機換屏幕有彈窗，總提示“無法驗證此iPhone是否搭載Apple原裝顯示屏”，其實，這是蘋果一貫的作風，屏幕、電池、攝像頭等元件都進行了加密，如果私自更換了非官方原裝或者未認證的屏幕就會有此提示，其實以後買的二手機，就可以清楚的知道手... 2022-11-11
科技 oppor11現在是高配置手機嗎
如果比照小米6、努比亞Z17、光彩V8等手機來說，價錢是有點稍高，由于在這個價位外面，有很多手機可以選擇。但是，并不是一切的手機擁有者都對手機配置十分感冒。所以，有些人其實更看重的是手機的拍照功用、音樂功用、運用能否卡頓等。所以，oppor... 2022-12-29
科技惠普筆記本電腦電池已接入未充電
筆記本電池無法充電，先别急更換，試試以下幾個方法，省時省力還省錢！問題1.電池處于高電量，提示未充電知識點：在每次充放電中，電池的容量都将會不可逆轉地逐漸減少如果連接電源後就立即充電，會增加電池充放電次數，減少電池的壽命電腦一般會默認設置9... 2023-01-21
科技峰米s5激光投影儀參數
IT之家9月1日消息，今天，峰米公布了新一代輕薄旗艦投影S5的參數，這款産品将在9月26日正式上市。據介紹，峰米S5采用了ALPD激光顯示技術，1080p分辨率，1100ANSI流明，擁有1500:1的對比度，最高支持4K解碼。配置方面，峰... 2022-12-15
科技教你手機如何截屏和錄屏
我們在後台收到很多關于“手機截屏錄屏”的問題留言，作為社交分享中的一個強大功能，手機截屏錄屏必須得學會！本文彙總了vivo手機中所有手機截屏的使用方法和設置，如果你對手機的錄屏截屏還有所疑惑，那就往下看吧~設置超級截屏超級截屏，顧名思義，是... 2022-11-27
科技 oppo新手機充電方法
oppo新手機充電方法?首次充電建議大家一次性充滿，也就是手機提示你電池已經充滿，這個時候拔下來就可以了，今天小編就來說說關于oppo新手機充電方法?下面更多詳細答案一起來看看吧!oppo新手機充電方法首次充電建議大家一次性充滿，也就是手機... 2022-06-05
科技遊戲角色設置分析
在遊戲的過程中，不知道大家有沒有思考過這樣一個問題：“是什麼遊戲中的元素引導着玩家不斷玩下去呢？”是遊戲劇情，故事線嗎？這個說法也對，但故事線與劇情的内核是什麼呢？又是由什麼所觸發的呢？這就是我們今天想給大家講的“遊戲任務”。哪些遊戲中會有... 2023-01-22
科技華為微信如何開啟指紋支付
用過華為手機的用戶都知道，有一陣子華為是不支持微信指紋支付的。這是由于華為和騰訊都不相信對方都想把指紋數據留在自家手裡。不過近來應該是談攏了華為支持指紋支付了。快來看看怎麼啟用吧！首先打開微信，在“我”——“支付”打開後，右上角有一個。。。... 2022-11-14
科技華為手機如何拍月亮
華為手機如何拍月亮?1．相機找到專業模式2.ISO調至1003.S調至1/500，我來為大家科普一下關于華為手機如何拍月亮?下面希望有你要的答案，我們一起來看看吧!華為手機如何拍月亮1．相機找到專業模式2.ISO調至1003.S調至1/50... 2023-02-14
科技手機内存卡格式化不了
手機内存卡格式化不了?将内存卡插到讀卡器上，将讀卡器插入電腦，按住鍵盤“windows+R”調出運行，今天小編就來聊一聊關于手機内存卡格式化不了?接下來我們就一起去研究一下吧!手機内存卡格式化不了将内存卡插到讀卡器上，将讀卡器插入電腦，按住... 2022-06-18
科技王者榮耀精簡版和完整版的區别
王者榮耀精簡版和完整版的區别?王者榮耀每次版本更新前：超好玩，超多内容，超多福利，更新後：卡頓，閃退，出bug，新内容：玩了一次不玩了，超多福利：50鑽石50銘文與此帶來的還有王者榮耀占用空間的極速膨脹，5g大的王者榮耀成為玩家吐槽的新内容... 2022-10-15
科技 pr裁剪完畫面怎樣導出
進行編輯修改出自己想要的風格pr裁剪後如何導出高清視頻，對新手來說一直困擾着大家，下面我就來介紹pr如何導出剪好的高清視頻。工具/素材prcc2020版電腦一台基本方法與步驟第一步，打開pr,點擊工具欄上的文件，往下拉看見導入，點擊選擇素... 2022-12-06
科技數據可視化大屏可以用什麼設置
編輯導語：相信大家對數據可視化這個概念已經很熟悉了，數據可視化能夠給人帶來直觀的感受，并且有利于我們更有效率地完成任務，同時起到交流與分享的作用。那麼對于大屏數據可視化的具體流程你了解嗎？具體應該怎麼做？作者總結了一套流程，供你參考。一、什... 2023-03-25
科技手機識别碼該不該禁用
手機識别碼該不該禁用?手機識别碼該不該禁用是用戶根據自己的情況而定，用得到就不禁用；用不到就可以禁用每一個手機都有獨一無二的标志，那就是手機的識别碼，手機的識别碼可以防止惡意使用手機進行注冊軟件，而禁用手機識别碼以後，手機将不再擁有注冊功能... 2022-05-31
科技女司機被罰50記3分
女司機被罰50記3分?本報訊（通訊員劉甯沙學祥張真慶記者王茸）開車時使用手機容易分心駕駛，引發交通事故，騎車時也同樣不能使用手機近日，我市發生多起因手機引發的交通事故，我來為大家科普一下關于女司機被罰50記3分?下面希望有你要的答案，我們一... 2023-01-02
科技 tfboys王源抖音官方認證
近日，TFBOYS成員王源近期在接受專訪時談到玩遊戲，剛剛年滿18歲的王源分享了自己最近的一件趣事：18歲生日的前一天，打遊戲因未成年而被下線。在專訪中，王源提到今年11月7日那天（也就是他18歲生日的前一天），他閑來無事上網打了一會兒遊戲... 2023-02-06
科技如何開淘寶網店的步驟
首先如果您能看到我的文章，希望您可以全部看完，如果你是一名新手店主或者是将成為店主的朋友，這篇文章肯定會對您有很大的幫助的，開門見山，我先教大家怎麼開通淘寶網店。以後有什麼不懂的都可以問我。現在大家平時網購的話也都是用手機網購的比較多，所以... 2023-01-16
科技掌閱手機f1上市時間
拒絕參數，隻談體驗，關注導盲犬小摳，真實解讀您熟悉的數碼産品，本文閱讀預計耗時3分鐘。智能手機的發展，随着安卓機人一統江湖後，同質化現象越來越嚴重，更加顯得創新發展的彌足珍貴。像前不久，國産手機行業就迎來了一波“創新潮流”，由軟件廠商掌閱推... 2022-12-13
科技手機到什麼時候充電合适
從功能機器時代到當前智能時代，智能手機的出現極大地促進了人們的生活。目前，廠商已經大大改善了手機的外觀和性能，其功能也變得更加全面，豐富了人們的業餘時間，市場上大多數手機都有一個共同的問題，那就是電池壽命不夠，制造商不僅引入了快速充電技術，... 2022-11-26
科技追劇開通vip哪種比較劃算
近幾年，随着有關部門監管力度的加強，免費追劇變得越來越難。從前，我想看一個劇，随随便便找一個在線視頻媒體平台就能搞定。現在，我想看什麼劇，我得找對應的平台。從前，我跟别人看一樣的内容，雖然可能在清晰度上低那麼一丢丢，但不太影響我的體驗。現在... 2023-01-11
科技空調油堵有什麼故障現象
空調器制冷系統的堵塞有髒堵,油堵,冰堵等幾種情況,一般出現在毛細管或幹燥過濾器中。毛細管常見的故障現象有:“髒堵”“油堵”“冰堵”等,幹燥過濾器常見的故障現象有“髒堵”“冰堵”等.堵塞故障的共同表現是:用手摸冷凝器不熱,蒸發器不涼;壓縮機的... 2022-12-28
科技移動異常停機怎麼解除
移動異常停機怎麼解除?鞭牛士8月14日消息，14日早上8點鐘左右，部分中國移動号碼的用戶發現手機顯示為停機狀态，而自己的号碼并無欠費行為在撥打10086人工客服詢問後，客服回複稱是移動後台系統故障，正在修複中，下面我們就來聊聊關于移動異常停... 2022-12-29
科技小米miui12有什麼功能怎麼設置
IT之家7月28日消息此前谷歌被發現正在研究手機背面雙擊手勢功能，如果用戶雙擊設備背面，就能在搭載Android11系統的Pixel設備上啟動相機、谷歌助手、播放和暫停音樂等功能。而蘋果在iOS14中已經成功實現了這項功能，并允許用戶在手機... 2023-01-14
科技企業怎樣關閉雲備份
為了避免因數據丢失帶來的風險。作為一種保證數據安全和業務連續的重要技術和管理手段，備份系統建設的必要性不言而喻。信息系統在日常運行中可能面臨各種風險帶來數據丢失，例如：1）網絡病毒、攻擊造成停機與數據丢失2）黑客入侵造成信息洩密3）人為錯誤... 2022-12-28
科技手機截屏除了快捷鍵還有什麼方法
互聯網普及的今天，手機使用頻率越來越高，但是無論你是聊天還是遊戲又或者是辦公，好像都會用到手機截屏這個功能。（可以自己翻翻手機看看有多少圖片是截屏來的[機智]）接下來看看目前都有哪些便捷的截圖方式，等你去發現。先看看主流的手機品牌有點多，不... 2022-11-28
科技筆記本電腦屏幕怎麼清洗
無論你使用的是筆記本還是台式機電腦，電腦屏幕經常被弄髒污染，打噴嚏、手指塗抹和灰塵，都會使他們變得很髒，使你的屏幕在視訊通話過程中模糊不清或者使文本文字難以閱讀，並且在感冒流感季節以及COVID-19病毒仍在傳播期間，電腦屏幕也可能是細菌傳... 2022-11-04
科技華為雲計算雲數據庫
9月19日，華為全聯接2022·曼谷正式開啟，華為雲雲原生數據庫GaussDB攜系列創新能力亮相大會，以雲原生技術為抓手，釋放企業數字生産力，推動企業數字化轉型。會上，華為雲全球Marketing與銷售服務總裁石冀琳提到，随着企業數字化轉型... 2022-10-29

tft每日頭條

> 科技

> python合并兩個列表并去重

python合并兩個列表并去重

相关科技资讯推荐

热门科技资讯推荐

网友关注