tft每日頭條

 > 生活

 > beyond高清合集

beyond高清合集

生活 更新时间:2024-10-17 20:54:39

7 月 3 日晚,一場獨特的演唱會上線抖音、西瓜視頻、今日頭條、鮮時光 TV,引發 1.4 億樂迷集體懷舊。這是“Beyond Live 1991 生命接觸演唱會”及紀念音樂會的精選重映。Beyond,是華語搖滾樂發展曆史上的璀璨明珠,更是一代人的青春記憶。

beyond高清合集(Beyond超清回歸不止為情懷而來)1

而這次當億萬觀衆沉浸在 DNA 被喚醒的懷舊情緒中時,可能也有很多朋友并不知道,他們看到的、聽到的穿越 31 年時光而來的畫面和聲音,其實是經過超清修複的。隻是在原汁原味的真實還原下,很多人并未發現而已。

完成這次超清修複的,就是字節跳動旗下的雲服務平台火山引擎。

超清修複,不止是提升音畫清晰度

如果你看過 Beyond Live 1991 生命接觸演唱會原版視頻,就能真切感受到這次超清修複版的提升。比如下面這張修複前後的效果對比圖,就是肉眼可見的提升。

beyond高清合集(Beyond超清回歸不止為情懷而來)2

時隔多年後依然能看到這場演唱會如此清晰的版本,的确是一件幸事。相信也有朋友會好奇,抖音到底施了什麼魔法?火山引擎到底是怎麼修複的呢?

這裡不妨為大家解釋一下。

首先,因為是演唱會的修複,所以不可避免會分成兩個部分:畫質修複和音質的修複。

畫質修複方面,我們先看看存在哪些難點。

第一是畫面的模糊受損,早期因為技術條件差,演唱會在拍攝、制作、壓縮、傳輸等整個過程都會出現畫面模糊、噪聲多的情況。比如那時的影片一般都是隔行掃描,編碼、顯示都會帶來交錯條紋等瑕疵。

第二是演唱會獨特的色彩、亮度和舞台氛圍感,比如怎樣平衡亮度調節和底噪被放大之間的矛盾,也是難點。

第三是需要對人像面部進行精細處理,普通的畫質修複算法難以做到,而且調節人像效果和背景之間的差異也是難點。

beyond高清合集(Beyond超清回歸不止為情懷而來)3

這些是演唱會修複的核心難點,對于這些難點,火山引擎則研發了專門的算法技術進行攻克。比如畫面模糊受損的問題,他們有清晰度增強和瑕疵修複算法,這些是基于大量數據訓練的深度學習算法,提升分辨率的同時,還能在缺少紋理的區域生成豐富的細節。

同時,還能利用基于運動補償的深度學習多幀交錯算法,解決各行掃描格式視頻存在的拉絲和橫紋情況。

下面這張照片就展現了修複前後的對比,可以明顯看到修複前撥吉他的手部有橫紋、模糊的情況,修複之後整個明顯更清晰銳利了。

beyond高清合集(Beyond超清回歸不止為情懷而來)4

提升畫質的同時還要注重演唱會藝術氛圍的保留。火山引擎給出了基于美學評分的自适應分區域色彩亮度增強算法,它會根據片源的效果,依據美學評分,在色彩,亮度,對比度,飽和度,人像 ROI 和背景區域分别增強,使亮區與暗區都能得到最好的表現效果。

比如下面這張修複前後的對比,修複之後的色彩明顯更飽滿,同時整體風格上也沒有失去演唱會燈光的氛圍感。

beyond高清合集(Beyond超清回歸不止為情懷而來)5

而人像的修複方面,火山引擎則通過自研的自适應人像增強算法,進行人物高清五官重建。對不同大小(近景 / 中景 / 遠景 )、不同姿态(側臉 / 俯視 / 仰視),不同遮擋程度的人臉都有較好的修複增強效果。

beyond高清合集(Beyond超清回歸不止為情懷而來)6

音質修複方面,也是類似。原版演唱會視頻天然存在早期設備條件不好導緻的音質差的問題,還有環境噪聲帶來的幹擾。另外那時的設備、壓縮算法不成熟,也會導緻音頻截止頻率低。演唱會混響過大影響收音質量、以及響度不均衡問題造成的聽感不适等。這些都是音質修複存在的難點。

針對原版音頻的噪聲,火山引擎給出了多元素場景的自研降噪算法,可以針對音樂場景和人聲場景實現兼容的 AI 降噪。普通的降噪算法主要針對人聲,給演唱會降噪時難免對部分聲音造成損傷,而火山引擎的這套算法可以保留人說話 / 唱歌 / 音樂的同時,抑制其他噪聲。

比如下面這張對比圖,原版攜帶噪聲的音頻頻譜整體非常渾濁,噪音(紫色的部分)整個演唱會都存在,而經過 AI 音頻降噪算法處理過後,頻譜圖清晰了很多。

beyond高清合集(Beyond超清回歸不止為情懷而來)7

對于早期設備音頻帶寬不夠的問題,火山引擎也有音頻超分算法予以解決,它能夠對演唱會中的人聲部分進行頻帶拓展,豐富高頻信息,提升音質,并且在處理過程中不會引入其他失真使體驗變差。

此外還有響度算法,則是提取演唱會中的歌唱人聲部分,然後進行響度的調整,使得整體的人聲更加舒适。

當然,這次演唱會重映之後,IT之家也向火山引擎方面了解到,修複的工作也并不完全是 AI 算法進行的,也會有人工處理的部分,隻是人工參與的很少。比如在畫質修複時,主要是和色彩相關的會加入部分人工,而音頻部分主要是在響度調整上做了一些人工的細節調整。

總體來說,這次演唱會的修複絕大部分工作通過 AI 算法技術來完成的,并且我們也能看到,修複的工作不僅僅是提升音畫清晰度這麼簡單,還涉及到藝術氛圍的保留、噪聲、細節的取舍、色彩的調整、重編碼等等,是一個成體系的複雜流程。而這個流程,火山引擎已經能用技術在無人工參與的情況下完成絕大部分。

最終呈現在我們面前的,就是一場音畫全面煥發新生,同時藝術感又原汁原味的經典演唱會,成就了一場情懷的狂歡。

比情懷更重要的,是賦能

從效果來說,這次 Beyond 演唱會的超清修複是讓人驚歎的,看了上面的介紹,相信會有朋友自然地想到,這些修複技術這麼厲害,而且很少需要人工參與,那如果能将它們開放出來,讓更多的主體能參與到這種頗具意義的修複中去,豈不是更好?

其實這些,就是火山引擎視頻雲正在做的,而且他們提供的能力還有更多。

相信大家也能感受到,視頻在如今互聯網傳媒時代的重要性。IDC 在年初曾發布一份《中國視頻雲市場跟蹤(2021 上半年)》報告,其中顯示,2021 上半年中國視頻雲市場規模達到 43.7 億美元,同比增長 38.7%。我們正在迎接一個全新的“超視頻時代”:不管是企業到用戶,還是用戶到用戶,一個行業内的信息傳遞有 50% 以上是通過視頻承載,就可以認為是“超視頻時代”。

beyond高清合集(Beyond超清回歸不止為情懷而來)8

總之,在廣泛的商業場景正在從圖文走向視頻的大背景下,視頻正在成為一種新的生産力,各行各業都在思考如何建設自己的視頻能力。

而火山引擎這家字節跳動旗下的雲服務平台,恰好通過視頻雲為各行各業帶來完整的視頻能力。這次修複 Beyond 演唱會所涉及的相關技術,其實隻是火山引擎視頻雲能力的“冰山一角”

根據今年 2 月火山引擎公布的最新視頻雲産品矩陣,這是一個包含泛互聯網、遊戲、金融、廣電等場景,視頻點播、veImageX、實時音視頻等核心産品,以此構成完整的解決方案。最底層的核心中台,則是火山引擎在服務抖音、西瓜視頻等優秀應用積累和沉澱下來的技術能力,覆蓋網絡傳輸、智能生産和智能處理全鍊路的能力。

beyond高清合集(Beyond超清回歸不止為情懷而來)9

而細分到每一項能力方面,火山引擎視頻雲也有對應的技術優勢。比如在編碼方面,火山引擎的 BVC 系列編碼器在視頻編碼器全球頂級賽事 MSU2020 中獲得 17 項冠軍。

在視頻播放體驗上,火山引擎擁有獨創的“零首幀”優化,實現短視頻首幀起播小于 100ms,長視頻首幀起播小于 400ms,帶來無感知的流暢播放體驗。

還有他們的 VQScore 畫質評估算法體系也已經在多媒體領域世界級學術會議 ICME2021 拿到第一名,穩定性方面更是能将應用崩潰率降到低于 1/100000。

正因為擁有這些技術優勢,火山引擎視頻雲才能為不同的行業提供極緻的視頻體驗。并且在視頻體驗方面,火山引擎也建立了自己的數據體系标準,從互動體驗、播放體驗、畫質體驗、性能體驗四個方面做細緻優化,從而讓用戶體驗可量化、可優化。

舉例來說,現在很多“超新 Z 世代”喜歡在快看上看“漫劇”,這種全新的視頻内容形式背後就有火山引擎視頻雲的助力。火山引擎視頻雲為快看“漫劇”創作提供了強大的視頻編輯,推動 UGC 内容的繁榮,同時還為快看提供了零首幀的相關優化經驗,提升了用戶觀看體驗。

beyond高清合集(Beyond超清回歸不止為情懷而來)10

快看世界技術 VP 安嘗思

再比如今年 5 月,Pico 以 8K 3D VR 的方式舉辦了鄭鈞“We Are”VR 私人唱聊會的互動直播,火山引擎視頻雲為 Pico 提供了從 VR 采集、VR 編碼推流、VR 雲導播、虛拟現實特效疊加到 VR 播放器的全鍊路能力。

beyond高清合集(Beyond超清回歸不止為情懷而來)11

鄭鈞“We Are”VR 私人唱聊會

總體來說,目前火山引擎視頻雲已經服務了很多的行業,覆蓋遊戲、電商、金融、教育等各個領域。包括前面我們說的修複 Beyond 演唱會過程中所使用的各種技術,在各行各業也都已經有很成熟的應用。也許,修複 Beyond 演唱會并和大家一起來一場免費的懷舊狂歡,是一件很有情懷的事,但小編覺得,能夠将這些能力開放出去,賦能給千千萬萬需要用視頻建設生産力的主體,是比情懷更重要的事情。

結語

Beyond Live 1991 生命接觸演唱會的重映已經結束,但小編相信,類似這樣用技術修複文化的情懷不會止步。去年,抖音、西瓜視頻聯合火山引擎已經為我們修複了超百部經典動畫,這次是 Beyond 的經典演唱會,未來,也許還有更多被時光侵蝕的作品會重新煥發生機。

而這樣的事情,隻靠為數不多的企業來完成,遠遠不夠,相反需要更多的企業或主體參與進來。火山引擎視頻雲的賦能,對推動這樣有價值的事情,無疑會起到非常重要的作用。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved