tft每日頭條

 > 生活

 > 如何完美去除馬賽克

如何完美去除馬賽克

生活 更新时间:2024-07-24 22:19:56

時至今日,機哥還經常聽到這樣的話:

“AI 就是個噱頭,吹得多麼多麼牛逼,實際上隻能拿來給拍照切換模式,或者下個圍棋,并沒有什麼卵用。”

如何完美去除馬賽克(終于能一鍵去除了)1

呃……能說出這話的人,一定是沒有好好了解過 AI。

噱頭很多是真的,但你要說沒卵用就不對了。。

人工智能的能力遠比你想象中強大。

如何完美去除馬賽克(終于能一鍵去除了)2

如何完美去除馬賽克(終于能一鍵去除了)3

機哥随便舉幾個例子。

AI 插幀

自攝像機被發明以來,人們對更高畫質視頻的追求就沒有停止過。

分辨率不斷提高,480p,720p,再到 1080p,現在有了 2K、4K。

如何完美去除馬賽克(終于能一鍵去除了)4

幀率也在逐年提升,從 25FPS 到 60FPS,再到 240FPS,甚至更高。

如何完美去除馬賽克(終于能一鍵去除了)5

今年好幾款手機不是宣傳 960FPS 高速攝像嘛。

拍出來的東西一慢放,效果特别驚豔。

如何完美去除馬賽克(終于能一鍵去除了)6

想拍這種視頻,得要你的手機攝像頭一秒鐘能捕捉 960 幀畫面才行。

不過有了 AI,也許就不需要了。

如何完美去除馬賽克(終于能一鍵去除了)7

英偉達,就是賣顯卡的那個核彈廠,最近展示了一個很神奇的 AI。

如何完美去除馬賽克(終于能一鍵去除了)8

這個 AI 可以把低幀率的視頻憑空變成高幀率的

如何完美去除馬賽克(終于能一鍵去除了)9

不廢話,直接看療效。

一段普通相機拍攝的 30FPS 開車視頻,慢放八倍後,是這樣的:

如何完美去除馬賽克(終于能一鍵去除了)10

如何完美去除馬賽克(終于能一鍵去除了)11

卡成幻燈片。。

這很正常,30FPS 慢放八倍,相當于每秒隻有 3.75 幀了,自然像幻燈片。

可經過英偉達的 AI 一處理

如何完美去除馬賽克(終于能一鍵去除了)12

如何完美去除馬賽克(終于能一鍵去除了)13

有點神奇啊!

再來一段 60FPS 的視頻,慢放八倍。

如何完美去除馬賽克(終于能一鍵去除了)14

稍微有點不流暢。

處理後:

如何完美去除馬賽克(終于能一鍵去除了)15

如何完美去除馬賽克(終于能一鍵去除了)16

注意 18 号球員的右腳,劃出的弧線連貫很多。

第三個 Demo 是一位舞蹈演員在做複雜的旋轉動作

原片60FPS,八倍慢放:

如何完美去除馬賽克(終于能一鍵去除了)17

頭發和裙擺遲滞感很明顯。

如何完美去除馬賽克(終于能一鍵去除了)18

但隻要一處理:

如何完美去除馬賽克(終于能一鍵去除了)19

如何完美去除馬賽克(終于能一鍵去除了)20

德芙,縱享絲滑。。

機哥跟你們分析一下它厲害在哪兒哈。

一段原本 30FPS 的視頻,分解開來,相當于每秒隻有 30 幀圖像。

如何完美去除馬賽克(終于能一鍵去除了)21

慢放八倍還想流暢的話,就得變成每秒 240 幀圖像。

這相當于說,原視頻每兩幀之間要插入七幀本不存在的圖像

如何完美去除馬賽克(終于能一鍵去除了)22

如何完美去除馬賽克(終于能一鍵去除了)23

請問這七幀要怎麼變出來?

如果放在以前,可以通過分析前後幀的像素位置變化,算出中間值來插幀。

但那樣插的幀一定會很生硬,不自然。

腫麼辦?

如何完美去除馬賽克(終于能一鍵去除了)24

AI 能解決。

英偉達的 AI 深度學習了超過 11000 個日常生活和體育活動的視頻。

如何完美去除馬賽克(終于能一鍵去除了)25

學成後,它便會根據“經驗”插幀。

做個不恰當的比喻:AI 就相當于一個畫師,學習過各種各樣的作品後,就能“畫”出兩幀間缺少的幀。

如何完美去除馬賽克(終于能一鍵去除了)26

而且,學得越多,畫得越真實。

如何完美去除馬賽克(終于能一鍵去除了)27

30FPS 變 240FPS 能做到,那 1080p 變 4K 能不能行呢?

如何完美去除馬賽克(終于能一鍵去除了)28

當然 OK,現在有——

AI 超分辨率

超分辨率(Super-Resolution),意思是指把低分辨率的圖像轉成高分辨率的。

這個概念其實不稀奇。

如何完美去除馬賽克(終于能一鍵去除了)29

比如我們用 PS 調大圖片分辨率。

如何完美去除馬賽克(終于能一鍵去除了)30

從參數上看分辨率數值的确提高了,但你應該也能發現,放大的圖片非常模糊。

因為,PS 提升分辨率的原理是把像素拉開,然後填上空缺的像素。

如何完美去除馬賽克(終于能一鍵去除了)31

而 PS 填充像素的算法很機械很原始,拉大後的圖片當然不清晰。

如何完美去除馬賽克(終于能一鍵去除了)32

想要更清晰,還得靠 AI。有很多團隊都在用海量圖片訓練 AI,讓它擁有更智能的插像素技能。

比如德國的 EnhanceNET-PAT。

如何完美去除馬賽克(終于能一鍵去除了)33

看他們的 Demo:

如何完美去除馬賽克(終于能一鍵去除了)34

效果還是挺明顯的。

如何完美去除馬賽克(終于能一鍵去除了)35

而 AI 界的大佬谷歌更可怕。

他們有一個算法叫“像素遞歸超分辨率”(Pixel Recursive Super Resolution)。

放大分辨率的能力隻能用可怕來形容。

如何完美去除馬賽克(終于能一鍵去除了)36

下面這張圖片,你覺得有救嗎?

如何完美去除馬賽克(終于能一鍵去除了)37

如何完美去除馬賽克(終于能一鍵去除了)38

救個毛啊!這不就是馬賽克嗎。。。

結果……

……

……

……

谷歌硬是把它恢複成了這個樣子。

如何完美去除馬賽克(終于能一鍵去除了)39

如何完美去除馬賽克(終于能一鍵去除了)40

簡直不敢相信自己的眼睛。

換一張馬賽克試試。

如何完美去除馬賽克(終于能一鍵去除了)41

如何完美去除馬賽克(終于能一鍵去除了)42

依然不在話下:

如何完美去除馬賽克(終于能一鍵去除了)43

如何完美去除馬賽克(終于能一鍵去除了)44

服了……

所以說啊,别再以為 AI 全是噱頭了,它們真的很有用。

等有一天,上面提到的插幀和超分辨率算法足夠完善了,哪裡還需要強大的相機?

如何完美去除馬賽克(終于能一鍵去除了)45

AI 算法全都能搞定!

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved