tft每日頭條

 > 生活

 > 去馬賽克新算法

去馬賽克新算法

生活 更新时间:2024-08-30 07:16:15

有時候出于隐私等方面的考慮,我們需要給圖片和影像打上馬賽克,有時候我們又會嫌馬賽克礙事,打馬賽克和反馬賽克仿佛一場無止境的較量。微軟在1月底推出了一項自動視頻打碼技術,用戶隻需要選擇視頻中的一個人物,AI就能自動識别、追蹤視頻中這個人物所有露臉的地方并進行模糊處理。而近日Google Brain(谷歌大腦)團隊又發布了一個名為超強像素遞歸方案(Pixel Recursive Super Resolution)的AI系統,能提高像素亂化處理後的照片的分辨率。通俗地講,就是能去除馬賽克。

有興趣的讀者可以試試用谷歌的這個AI去清除微軟的AI打出來的馬賽克,不過在進行這個“以子之矛,攻彼之盾”的遊戲前,不妨先看看谷歌的這個解碼AI到底“超強”在哪裡。

谷歌上載在預印本網站arXiv上的論文詳細介紹了這個算法的原理和效果。在下圖中,右列是名人照片未經模糊化的原圖,左列是被打碼後的照片,分辨率僅有8x8像素。而中間是谷歌的AI解碼處理後的效果,分辨率達到32x32像素,提升了16倍。

去馬賽克新算法(谷歌發布超強馬賽克清除技術)1

左起:馬賽克版、谷歌AI還原版、原圖

通常情況下,馬賽克是難以清除的。這是因為在打碼過程中,原圖的信息會經曆不可逆的損失。根據奈奎斯特采樣定理,如果這個采樣頻率比原始數據的頻率的 2 倍還要低,那麼必然産生不可逆的數據損失。

以往最常見的馬賽克去除方法是插值。我們可以把每一個像素想象成一個特定顔色的小格子,這些特定的顔色可以用特定的數值代表。一張圖片就是由無數這樣的小格子組成的。而最常見的馬賽克手段,就是把那個區域的數字都取周圍數字的平均數。

而所謂的插值,就是把這塊被取并均值的區域再進行放大,比如放大200%的話,原來被打碼區域裡的一個小格子就會被2x2四個格子取代,剩下的任務就是再重新填充這4個格子的顔色。我們可以通過取周圍若幹個格子顔色的加權平均值來填充每個格子,取的周圍格子數越多,還原效果也就越好。當然,這種解碼手段最後呈現的效果并不能令人滿意。

2016年,得克薩斯大學的一個團隊推出了一個名為Torch的反馬賽克,不過Torch的原理是識别而非複原。也就是說,Torch可以匹配出被打馬賽克圖片相符或者相似的原圖。

谷歌大腦的這個算法思路與Torch一脈相承,隻是技術上更進一步。開發者們通過深度學習讓機器産生“聯想”,以“猜測”的方式為被馬賽克的色塊增加細節,提升像素倍數,從而得出更清晰的畫面。比起“還原”,還不如說這是AI靠強大的學習和計算能力“腦補”出了原圖。

這種“腦補”基于兩項核心工具。第一項工具調節網絡(conditioning network),是一個CNN(卷積神經網絡),通過向系統展示海量人物面部照片來進行訓練,讓系統記憶學習到具有代表性的面部特征。另一項工具優先網絡(prior network)是一個PixelCNN,讓系統基于之前的訓練,猜測哪些細節可以作為高分辨率照片的特征,并根據概率優先原則,從所有可能的原圖中找到最有可能匹配的細節,對高分辨率照片進行填充。

去馬賽克新算法(谷歌發布超強馬賽克清除技術)2

訓練機器還原卧室照片所用的樣本示例

目前,該系統“還原”出的人臉照片的混淆率是10%。在“還原”場景圖片方面,該系統的表現可能會更好一些,其混淆率可以達到28%。50%的混淆率意味着完全複原,可以以假亂真。

去馬賽克新算法(谷歌發布超強馬賽克清除技術)3

“還原”人臉混淆率為10%,“還原”場景混淆率為28%。

從應用角度來看,該系統最大的突破在于能夠讓8x8像素的模糊圖片變得清晰一些,盡管離通過識别面部驗證人員身份還有一段距離,但對于通過“還原“分辨圖片中對象的位置、确定事物大概面貌以及确認某人是否在現場來說已經足夠了,這将為犯罪刑偵帶來更大的幫助。

而Google近水樓台先得月,可能會将該技術率先應用在自家SNS社交網站“Google ”的圖片上傳上,即在用戶上傳照片時将其低像素壓縮,識别出圖片中的關鍵信息,然後再啟動這項AI技術,将圖片提高分辨率進行“還原”。這種方式可以幫助用戶節省流量。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved