如何将25幀變成50幀?當代生活,我們總是在追求更大的屏幕尺寸、更好的屏幕素質和更高的刷新率目前來看,電視屏幕的刷新率已經從 4K 60 幀向 8K 120 幀過渡,手機也從 90 幀向 120 幀發展,最強的還是我們這些「打遊戲」的 PC 玩家,顯示器的刷新率已經是 144 起步,還要玩顯示器超頻,今天小編就來說說關于如何将25幀變成50幀?下面更多詳細答案一起來看看吧!
當代生活,我們總是在追求更大的屏幕尺寸、更好的屏幕素質和更高的刷新率。目前來看,電視屏幕的刷新率已經從 4K 60 幀向 8K 120 幀過渡,手機也從 90 幀向 120 幀發展,最強的還是我們這些「打遊戲」的 PC 玩家,顯示器的刷新率已經是 144 起步,還要玩顯示器超頻。
但是和屏幕對應的則是影視内容幀率的增長停滞:視頻已經實現了 30 幀向 60 幀過渡,電視劇和電影還是維持在 24 幀的水平。
在這樣的情況下,我們可以通過自給自足的方式實現視頻的補幀。
❶
什麼是補幀?
其實不管是 PC 上的補幀、PR 裡的光流法渲染、還是電視上的 MEMC 動态補償,本質上都是通過計算畫面中像素的運動軌迹,再依靠插幀的方式進行補幀。
在一段影片當中,一個物體的運動軌迹是相對固定的,因此通過算法可以很容易地算出兩幀畫面中物體的運動軌迹,在兩幀運動軌迹的中間加入模拟的運動軌迹幀,實現插幀效果。通過這樣的手段能夠實現 30 變 60 及以上的幀率,并且能夠減少畫面的拖影,讓視頻看起來更加幹淨清晰。
但是問題是這樣簡單的補幀會出現很多問題:例如會加大顯卡的壓力,帶來散熱和功耗的壓力;有可能會出現畫面物體的撕裂;物體邊緣由于像素運動是「從無到有」,因此可能會出現連續性方面問題,這被稱之為塊效應;無法很好地解決前有遮擋的運動物體的運動軌迹補幀。
因此現階段最先進的補幀方案是通過 AI 計算的方式進行補幀,請注意這裡的 AI 不是噱頭,而是真的通過 AI 卷積神經網絡計算的方式。
首先,要喂給 AI 大量的已有影像資料,通過機器學習的方式使 AI 訓練出一個叫做「卷積核」的東西,這個卷積核是一個函數,輸入畫面到輸出畫面的變化就是由這個卷積核加權平均後決定的。
卷積核有點像一個「超級濾鏡」,通過這個卷積核計算的視頻能夠實現更加清晰和智能的補幀。
這種 AI 補幀能夠實現遠勝于傳統運動補幀算出來的視頻效果,在上海交大開源的 DAIN(Depth-Aware Video Frame Interpolation) 插幀算法中,已經可以實現自動識别景深來輔助插幀,這樣幾乎完全解決了由于遮擋帶來的畫面 BUG。
圖片來源:極客灣視頻
但是相對來說這種補幀方式實現的成本也非常高:由于需要 CUDA 的幫助才能計算,因此必須要有一塊英偉達顯卡,AI 計算非常吃顯卡性能(尤其是顯存),所以這塊顯卡的水平還不能太差;非常花時間,以小時或者天為單位來實現優化。
多說一句,這種 AI 計算的方式不但可以用來插幀,還可以用來提升畫質,實現 480P 變 4K 的神奇操作。2019 年上映的電影《決勝時刻》中的開國大典就是根據從俄羅斯買回來的原片經過 AI 算法進行了修複後,實現了「膠片變 4K」的神奇效果。
❷
如何實現補幀?
目前補幀操作主要還是在電視和 PC 上實現,電視主要依靠 MEMC 芯片進行運動補幀,通常在電視的設置裡,在這裡就不過多介紹了。這裡主要介紹一下 PC 的補幀方式。
AMD 顯卡
如果你是 AMD 顯卡,那麼你可以直接使用 AMD 官方的「AMD Fluid Motion video」功能搭配 Potplayer 播放器來完成插幀。
· 要有一張 GNC 或者 Vega 架構的 AMD 顯卡,并下載最新的 AMD 驅動。
· 打開「AMD Fluid Motion video」功能。
· 下載 Bluesky Frame Rate Converter,安裝完成後點擊「Enable AFM Support」。
· 在 Potplayer 中的「選項 - 濾鏡 - 全局優先濾鏡 - 添加系統濾鏡」選擇「Enable AFM Support」濾鏡,并強制使用。
這樣就完成了設置,新視頻就完成了視頻補幀,實測效果還可以吧。
NVIDIA 顯卡
如果你是 Nvidia 顯卡,可以選擇 SVP 或者是 DmitriRender 搭配 Potplayer 或者 MPC-HC 播放器使用。
SVP 已經是知名的老牌 PC 插幀軟件了,大家可以在其官網上選擇對應的版本進行下載,Windows、Mac、Linux 都有支持,官方教程也比較清楚。
缺點是收費(比較貴)、比較吃系統資源(尤其是顯卡),而且在我的 1050TI 筆記本上經常出現音畫不同步的情況。
DmitriRender 是一款新興的視頻插幀軟件,相較于 SVP 比較節省系統資源,收費也更便宜。使用方式同樣也是下載後添加濾鏡。
這兩種方式 AMD 顯卡和核顯都可以用,不過 AMD 更推薦上面的原生方案,核顯可能會出現資源不夠的情況。
特别提醒
插幀軟件通常會有電影和動漫兩種方案。
這是由于動畫通常不是一幀一張畫面的,而是「一拍二」或者「一拍三」,就是一張畫用兩幀或者三幀畫面,也就是說「12 張圖構成 24 幀」或者是「8 張圖構成 24 幀」,剩下的部分由觀衆「腦補」而成(人體神奇的大腦和視覺系統)。
庵野秀明的「一拍三」變「一拍一」
這被稱作「關鍵幀動畫」,由手冢治蟲提出。這樣做主要是可以在不降低動畫質量的前提下, 減輕動畫原畫的壓力,但是會給插幀軟件帶來困擾……
此外「隔行掃描」的視頻是無法進行插幀的,不過現在隔行掃描的視頻已經基本沒有了,所以影響不大。
目前來看,體驗出色的補幀視頻能夠相當程度上提升視頻的觀看體驗,這點相信看過李安最近幾部電影的都應該有所感覺。但是目前的民用補幀技術還相對比較落後,我還是非常期待 AI 補幀能夠達到正常用戶使用水平的那天。
一個更加流暢的世界。
撰文 / 恺倫
編輯 / 恺倫
責任編輯 / 恺倫
文中部分圖片來源于網絡
© 愛否科技原創内容 轉載請聯系後台
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!