python合并兩個列表并去重-tft每日頭條

python合并兩個列表并去重

科技更新时间:2024-06-26 17:54:01

本文以爬取一部小說為例,因使用的是多線程爬取,所以每個小說章節都是一個txt文件,而這些文件都是亂序的,要閱讀的話我們也不可能每閱讀一章小說就去翻另一個txt文件,這時就需要合并了.

----------------------------------------

爬取時間2022/8/16

代碼如下:

python合并兩個列表并去重（大量亂序文件如何合并成有序的）1

代碼1-25行

python合并兩個列表并去重（大量亂序文件如何合并成有序的）2

代碼28-49行

python合并兩個列表并去重（大量亂序文件如何合并成有序的）3

代碼50-75行

運行結果:

python合并兩個列表并去重（大量亂序文件如何合并成有序的）4

pycharm中的結果

python合并兩個列表并去重（大量亂序文件如何合并成有序的）5

文件管理器中的結果

從結果中可以看到,程序從運行到結束,一共花了3秒鐘,

三秒内做完了從網站獲取url鍊接,再通過120個url下載了120個txt文件,合并成一個大的txt文件後,再删除之前的120個小txt文件.

----------------------------------------------

代碼10-25行>>>

從主頁面發起請求,結合bs4和正則獲取了小說每個章節的url鍊接和名字,并将順序正常的名字寫入叫1000.txt的文件. 第22行用unicodedatach處理了文本中的非正常空格(類似 )

代碼第28-39行>>>

以每個章節的url為函數參數,獲取了小說内容,并寫入txt文件,

用章節名 (例如: 第四十九回琉璃世界白雪紅梅　脂粉香娃割腥啖) 作為xxt文件的名字. 因為原本的章節名含有空格以及非正常空格,不利于後續排序處理,就采用正則提取了 "第"和"回"中間的文字作為txt文件名.

python合并兩個列表并去重（大量亂序文件如何合并成有序的）6

不用正則處理xtxt文件名就是這個樣子

代碼第69-71行>>>

創建了線程池下載txt文件

代碼第41-55行>>>

打開名為1000.txt文件,提取裡面的正常順序的章節名,以此作為已下載的120個txt文件的合并順序.

代碼第57-61行>>>

将之前下載的120個小txt文件删除,保留合并後的大的txt文件,接下來就可以愉快地閱讀小說了

python合并兩個列表并去重（大量亂序文件如何合并成有序的）7

手機中顯示的效果

注: 将ts文件合并成MP4文件也是通用的,但需要注意的是使用os模塊單次合并ts文件數量在650個左右,不到700個.

至于用os模塊單次合并txt文件的數量限制是多少,暫時未測試.

----------------------------------------------

最後:源碼以及小說txt文件,封面原圖鍊接阿裡雲盤分享

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部

网友关注

科技外賣員的心酸和不易
外賣員的心酸和不易?我從7月11日開始加入美團外賣到8月10日，共計工作了31天回看這段時間的經曆，除了手上留下的黝黑的曬痕以外，有第一次送單時的快樂、有持續工作的煎熬、有大雨爆單時的慌亂，也有摔車時的崩潰和淚水在我最開始找到這份工作的時候... 2022-10-28
科技電腦主闆接口型号大全
電腦主闆接口型号大全?大家好，我是小匠主機的内部基本是由這幾個必要大件組成CPU、主闆、内存、硬盤和電源獨立顯卡并不是組成一台電腦主機的必要部分如果你的CPU是英特爾核顯CPU或者AMD的APU，那是不必需要獨立顯卡就可以點亮正常使用，顯示... 2022-10-11
科技 excel每行同一數值數據透視
如圖1，B列省份在一個單元格，要轉換為數據列表，如圖2，該怎麼操作呢？圖1圖2要實現這樣的轉換有多種技巧，本文分享Excel2016的逆透視方法，操作步驟如下：Step1:點擊菜單數據→獲取數據→從文件→從工作簿，選中要逆透視的表格，進入導... 2022-11-08
科技 windows11自帶播放器叫什麼
近日，微軟宣布了用于Windows11系統的全新媒體播放器（MediaPlayer），用以取代之前的GrooveMusic。這個媒體播放器，應該是經典的WindowsMediaPlayer的後繼者。目前，全新的Win11媒體播放器已經面向測... 2022-11-02
科技設計師筆記本推薦
不會做簡單剪輯和修圖的數碼評測師不是優秀的KOL。線上流量暴漲的時局之下，短視頻太香、直播太香，作為一名有志于進軍視頻創作領域的集實力與上進心于一身的資深數碼達人，已經做好了萬全的知識儲備，離下一個現象級爆款作品，隻差一一一件趁手的裝備！那... 2022-11-29
科技浴霸五根線安裝方法
浴霸五根線安裝方法?把一根零線直接接到浴霸零線上，火線跳到各個開關，通過各開關分别送到照明、采暖、通風幾個接頭上，就可以獨立控制各個功能的開關了，我來為大家講解一下關于浴霸五根線安裝方法?跟着小編一起來看一看吧!浴霸五根線安裝方法把一根零線... 2022-06-07
科技 vivo手機智能解鎖怎麼用
平時想到vivo手機的解鎖方式，除了面部解鎖、指紋解鎖和密碼解鎖，你恐怕就不知道别的了，其實我們還可以利用智能設備來解鎖手機，接下來就來學習一下吧。（智能設備可以是藍牙耳機等。）首先我們打開【設置】-【指紋、面部與密碼】-【智能解鎖】，然後... 2022-11-01
科技十個有用的學習網站
很多人會在自己空餘的時間，通過學習來提升自己的知識或專業技能。去培訓班上課的比較少，畢竟有時候時間不允許！所以，大部分人還是會選擇在網絡上的一些學習網站進行學習，在時間安排方面也比較靈活，課程講解也比較詳細，對于忙碌的人來說，在學習網站學習... 2022-11-22
科技大數據實現技術研究現狀
首屆滬江國際青年學者論壇暨上海高校國際青年學者論壇（光學工程專場）近日在上海理工大學舉行，包括4位院士在内的多位知名光學專家出席并作主旨報告。中國工程院外籍院士、澳大利亞科學院院士、澳大利亞技術科學與工程院院士顧敏在報告中指出，激光光盤并沒... 2022-12-04
科技神武4各職業門派心法
神武4各職業門派心法?神武大胖熊，陪你看遍光華繁榮，你們的大胖熊又回來了~，接下來我們就來聊聊關于神武4各職業門派心法?以下内容大家不妨參考一二希望能幫到您!神武4各職業門派心法神武大胖熊，陪你看遍光華繁榮，你們的大胖熊又回來了~神武三界的... 2022-10-17
科技電腦字體模糊怎麼調整
電腦字體模糊怎麼調整?在電腦桌面右擊鼠标，在彈出菜單中選擇【個性化】，我來為大家講解一下關于電腦字體模糊怎麼調整?跟着小編一起來看一看吧!電腦字體模糊怎麼調整在電腦桌面右擊鼠标，在彈出菜單中選擇【個性化】。進入個性化管理窗口，點擊左下角的【... 2022-06-15
科技最好的萬能播放器
今天給大家介紹兩款超實用的，功能強大的，免費的，無廣告的視頻播放器。平時，我們在觀看電影，播放視頻的時候，你還在用國内的那些視頻播放器嗎。比如：暴風影音，QQ播放器等等視頻播放器?這些播放器不僅有廣告，支持的視頻文件格式也少。那麼，接下來給... 2022-11-04
科技 c語言不同數據類型的長度
c語言的數據不同類型不同類型的數據在内存中占用的存儲單元長度是不同的，例如，VisualC＋為char（字符型）數據分配1個字節，對int型（基本整型）數據分配4個字節，存儲不同類型數據方法也是不同的。（一）整型數據1整型數據的分類(1）基... 2022-11-04
科技飛利浦電磁爐e4是怎麼回事
飛利浦電磁爐e4是怎麼回事?飛利浦電磁爐e4表示當前電壓過低，低于額定電低電壓160V，接下來我們就來聊聊關于飛利浦電磁爐e4是怎麼回事?以下内容大家不妨參考一二希望能幫到您!飛利浦電磁爐e4是怎麼回事飛利浦電磁爐e4表示當前電壓過低，低于... 2022-06-12
科技新的手機第一次充電要充多久時間
剛買部iPhone6，馬上就有朋友說，哎呦新買的手機要充滿12個小時哦，要充多久才行哦！出于好意的建議到底是對是錯呢？今天我們來圍觀下關于手機充電的5大誤區！誤區1：手機充電一整晚會弄壞電池！解答：錯，目前多數手機電池都是采用锂電池，它會有... 2022-11-13
科技 excel明細分類統計彙總函數
Hello大家好，我是幫幫。今天跟大家分享一張Excel費用支出明細表，自帶數據條顯示，下拉菜單選擇，函數自動彙總。有個好消息！為了方便大家更快的掌握技巧，尋找捷徑。請大家點擊文章末尾的“了解更多”，在裡面找到并關注我，裡面有海量各類模闆素... 2023-03-25
科技手機充電慢可能是哪裡的毛病
手機充電慢可能是哪裡的毛病?，今天小編就來聊一聊關于手機充電慢可能是哪裡的毛病?接下來我們就一起去研究一下吧!手機充電慢可能是哪裡的毛病 2022-12-14
科技示意圖怎麼畫
示意圖怎麼畫?示意圖表示的是大體上描述或表示物體的形狀、相對大小、物體與物體之間的聯系（關系），描述某器材或某機械的大體結構和工作的基本原理，描述某個工藝過程簡單圖示都叫做示意圖今天來教大家用軟件畫示意圖，下面一起來看看吧，接下來我們就來聊... 2022-06-26
科技華為手機在設置裡面怎麼錄屏功能
華為手機錄屏在哪裡華為手機如何錄屏幕？怎麼在手機上錄視頻手機錄屏幕視頻方法。vivo手機可以錄制屏幕，那麼如何操作呢？今天我們一起來操作一下。首先，針對華為手機可以錄屏，可以說是非常方便。打開手機，在底端部分，手指向上滑。會出現以下界面。點... 2022-11-06
科技移動互聯網到産業互聯網
移動互聯網到産業互聯網?來源：人民網－人民日報人民網研究院日前發布了《中國移動互聯網發展報告(2022)》，總結了2021年中國移動互聯網發展狀況，分析了移動互聯網的年度發展特點，下面我們就來說一說關于移動互聯網到産業互聯網?我們一起去了解... 2022-12-07
科技地球離太陽越來越近什麼原因
地球正在遠離太陽，從太陽到地球的平均距離約為1.5億公裡，但這個距離還在增加，不過，可不要期望溫度會因此而降低。根據最新的研究結果，地球與太陽的平均距離正在增加，但速度非常緩慢，約為每年0.06米。與地球和太陽之間每年因行星的橢圓軌道而發生... 2022-11-23
科技電腦硬盤分區工具怎麼用
有沒有什麼筆記本電腦硬盤分區的方法？有什麼好用的分區軟件介紹嗎？強烈推薦易我分區大師，專業易操作，是您電腦硬盤分區的首選！很多小夥伴在使用筆記本電腦的時候，有一個不太好的習慣，就是不會給筆記本電腦的硬盤進行分區，這個電腦可能就隻有一個C盤，... 2022-11-03
科技手機卡pin碼是哪一行
【手機SIM卡的PIN碼是什麼？很重要】PIN碼的小知識關乎手機安全, 2022-12-12
科技錄音如何導入蘋果語音備忘錄
錄音如何導入蘋果語音備忘錄?有的小夥伴在蘋果手機語音備忘錄保存了錄音後，想要将錄音文件導入剪映進行編輯那麼剪映怎麼導入蘋果手機錄音音頻呢？下面小編就來為大家介紹一下導入蘋果手機語音備忘錄的方法，下面我們就來聊聊關于錄音如何導入蘋果語音備忘錄... 2022-11-23
科技薄膜面闆有哪幾種工藝
薄膜面闆是在PVC、PC、PET等材料上絲印定制的圖形、文字、透明窗、顔色或者要求的鼓包凹凸，背部粘貼上客戶選擇的雙面膠，制作出用于有标識、控制面闆和保護作用的塑膠制品。薄膜面闆外形美觀、字迹清晰、顔色鮮亮、密封性好。有防水、防變形、防污染... 2022-10-24
科技網店配什麼電腦比較好
很多人都說網店的電腦和電腦硬件比電腦實體店的便宜，這樣的說法是真的嗎？我是一位經營電腦實體店十幾年的經營者，我今天和大家說說掏心窩子的話，至于信不信那就随您了。現在組裝電腦非常的火爆，我們就聊聊組裝電腦，組裝電腦就是把電腦必須用的硬件進行組... 2022-10-26
科技 wordctrl快捷鍵大全
如果非常熟悉電腦辦公軟件操作的小夥伴們一定會經常使用各種快捷鍵，之前小編也給大家分享了word最全的快捷鍵組合，要想word操作好，怎能缺少了快捷鍵？最齊全的word快捷鍵大全今天主要分享最常用的快捷鍵之一【Alt】鍵，在日常辦公中一些巧妙... 2022-11-23
科技 cad電氣設計說明
很多小夥伴總覺得自己的繪圖效率很低，其實這是因為你沒有一個稱手的工具，一些CAD老手之所以能快速完成繪圖，不僅是因為他們孰能生巧，關鍵是還有稱手的工具，幫助他們提高效率，那麼有哪些輔助工具可以幫助我們提高效率呢？今天小編就來給大家分享幾個插... 2022-11-08
科技網上買的手機出現問題可以到門店解決?
李先生反映，前幾天，他在網上買了一部蘋果手機，收到貨後，他發現手機裡會出現“天線寶寶”。這是李先生在網上買的“蘋果12promax”手機，他演示了一下，恢複出廠設置後，手機會先出現一個蘋果圖标，幾秒鐘後，又出現了一個綠色圖标，看樣子像是安卓... 2022-10-28
科技蘋果手機定位怎麼關
蘋果手機定位怎麼關?打開手機，找到設置在設置功能菜單中，找到隐私設置，一般情況是在第二個版塊的菜單中的最下面一個選項，我來為大家講解一下關于蘋果手機定位怎麼關?跟着小編一起來看一看吧!蘋果手機定位怎麼關打開手機，找到設置。在設置功能菜單中，... 2022-06-06

tft每日頭條

> 科技

> python合并兩個列表并去重

python合并兩個列表并去重

相关科技资讯推荐

热门科技资讯推荐

网友关注