近日,抖音與火山引擎超清修複了“Beyond1991生命接觸演唱會精選”“别了家駒十五演唱會精選”兩場演唱會。修複後的效果立竿見影,無論是在畫面還是音質上都有了質的提升,讓人眼前一亮,不少網友看後歡呼“爺青回”。這究竟是如何做到的,以後老舊音像資料都可一鍵翻新嗎?
超清修複,幾代人的青春記憶被喚醒
據了解,為了提升觀看和聽感體驗,再現Beyond經典之作,火山引擎對其從畫質和音質兩個方面進行了修複。“我們的目标是從畫面整體清晰度、人像五官複原度、色彩亮度、流暢度、美觀度等方面對畫質進行提升。”火山引擎相關負責人介紹。
修複後,人物面部的胡須、毛孔清晰可見,給觀衆帶來更佳視覺感受。正如有網友觀後感稱,“超清修複後,看到了黃家駒細微的表情和眼中的光。”在畫質上,視頻分辨率從不足540p提升到接近4K水平,幀率從25fps提升到60fps。
在音質修複方面,火山引擎音頻技術團隊通過音頻降噪、音頻超分和響度算法,消除噪聲提升音質,解決響度、噪聲幹擾、帶寬不足等問題。修複後在保留音樂和人聲的前提下,抑制了周圍噪聲,原始音頻的高頻部分還得到了拓展和增強。
實際上,超清修複不隻是提升了音畫清晰度,修複的還是影像背後的記憶,幾代歌迷因為Beyond隔空産生的共鳴和火花。例如,這次參與畫質修複技術團隊都是90年後出生的,他們為此感到興奮和驕傲。
北京大學法學院副教授江溯也是資深Beyond歌迷,他表示,Beyond的歌伴随自己走過漫長歲月——到城裡讀大學,考上研究生以及讀博士、出國學習,最終成為法學學者,甚至記不清自己打開多少次這場熟悉的演唱會視頻。
在7月3日的“Beyond超清修複演唱會官宣”直播中,無數網友在屏幕上打出,“看哭了。”“在漫長的黑夜,beyond無數次給我力量。”“當年陪我看DVD的朋友,你現在在哪裡。”“80後報到、90後報到、00後報到……”這場直播最終以1.4億人次觀看的成績落幕。
如何做到的,背後用了哪些“黑科技”?
一般來說,老舊音像作品畫面模糊不清、受損嚴重;受限于原來的拍攝設備和環境,底噪較大,影片存在大量的過曝與死黑場景;上個時代的視頻編碼器壓縮效率低,會導緻壓縮噪聲和紋理丢失,等等。
所以說對這種老舊作品的修複,難度可想而知。那麼火山引擎究竟怎樣做到的呢?尤其市面上做老舊音像作品修複的企業也不少,火山引擎有什麼不一樣嗎?一個顯著區别是,一些企業普通的畫質修複算法對人臉處理不夠精細,可能是一個“模闆”處理所有視角,而火山引擎自研了自适應人像增強算法。
據介紹,本次Beyond演唱會人臉有不同大小(近景/中景/遠景)、不同姿态(側臉/俯視/仰視)的場景,如何調節不同大小、姿态的人像修複效果而且跟背景不會造成明顯差異,成了本次修複的一個難點。
“針對演唱會場景中多角度的人臉,包括正臉,側臉,俯視,仰視,還有一些被樂器/話筒遮擋的人臉,火山引擎自研的自适應人像增強算法在各種極端場景下都有較好的修複效果,穩定性強。”火山引擎多媒體實驗室研究員趙世傑表示。
趙世傑進一步表示,基于深度學習模型,自适應人像增強算法在消除人臉整體的模糊和壓縮損傷的同時,進一步對人臉關鍵的五官重建,對眼睛、嘴巴、耳朵、皮膚甚至發絲都進行了細節重建和紋理添加,使得人臉清晰度更高更真實。
火山引擎音頻技術團隊研究員舒曉峰表示,火山引擎音頻降噪算法針對音樂場景和人聲場景實現了一個兼容的AI降噪算法,可以保留人說話/唱歌/音樂的同時,抑制其他的噪聲。
除了算法上的優勢,在應用場景上,火山引擎也具備得天獨厚的條件。抖音、西瓜視頻等業務每天都會收到用戶海量的投稿,這裡面既有 UGC,也有PUGC的,有專業的視頻,也有業餘的拍攝,質量參差不齊,這些投稿都會經過火山引擎的自動優化處理,對清晰度、色彩、瑕疵、失真等做自動的修複。“總結來說,我們擁有一個非常豐富的應用場景去優化叠代算法。”火山引擎相關負責人介紹。
AI修複,會成為老舊音像作品修複“救星”?
據介紹,本次抖音直播超清修複的Beyond演唱會中,還應用了火山引擎畫質全鍊路端到端解決方案。該解決方案主要包括服務端分析系統、服務端視頻處理系統,客戶端解碼後處理系統。
一個完整的視頻消費鍊路包括了上傳、轉碼、傳輸、消費等,火山引擎在其中的多個環節中對視頻内容進行畫質、碼率、體驗的優化。
以服務端視頻處理系統為例,它可根據上一環節輸出的最優策略進行處理,組合多種算法模塊包括超分、降噪、HDR、編碼前處理、采樣等,該過程先獲取視頻畫質的上限,然後從碼率出發進行編碼預處理。
值得注意的是,這樣的技術除了應用在抖音中,也會對外開放。“修複經驗以及相關技術能力可以便捷地應用到其他的場景或者行業中。”趙世傑指出,目前這些技術能力均已通過火山引擎視頻雲、音頻技術産品開放給外部。
修複不僅僅應用在演唱會、短視頻等領域,2021年10月,西瓜視頻及火山引擎推出“經典視頻4K修複計劃”,計劃通過技術手段,一年内修複百部經典動畫片,目前已完成71部。
修複經典是傳承,也是用數字技術最大化還原作品,帶來視聽新感受。“未來,我們會聯合火山引擎修複更多經典影像,讓經典煥發新生。”抖音相關負責人表示。
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!