乾明 安妮 發自 凹非寺

　　量子位 出品 | 公衆号 QbitAI

　　城裡新來了個AI修圖師，可以說有求必應。

　　拍了一張美美的照片，但是我還不滿意。想瘦臉，想按照我想要的弧線瘦臉；還想讓眉毛俏皮上挑、鼻子也挺一點。

　　AI修圖師，行不行？

　　行。

　　簡單。把不滿意的地方塗掉，接着想怎麼改，就怎麼簡單勾勒一下線條。

　　然後，點一下按鈕。效果你看看，行不行？

　　求大神幫忙：幫我P成咧嘴微笑，以及眼珠換個顔色。

　　行。

　　世間P圖的要求不過爾爾，對于這個AI修圖師來說，簡直信手拈來。隻要你提好需求，然後一鍵就能完美實現。

　　來個實戰演示，譬如給美女加個劉海、畫個眼影。也是輕輕松松快速完成。

　　給小夥去掉墨鏡、露出眼睛。沒問題，分分鐘搞定。

　　真的，這都不算難事兒。

　　加首飾、換發型、補全臉 其實，過去我們也介紹過一些類似的神經網絡P圖大師。

　　不過這次的AI修圖師，還有一些新本領。

　　例如，對于色彩的掌握。

　　可以根據要求，改變眼球的顔色，輕松告别美瞳或者紅眼。

　　還能改變發型。

　　甚至，給光頭P上秀發，而且頭發可以是不同顔色的混搭，直接生成一種挑染的風範~

　　不僅如此，這個AI還能按照需求，定制生成搭配的首飾。

　　耳墜啊什麼的，全都不在話下。

　　當然，以上種種還都是小兒科。

　　這個AI能腦補的範圍可不隻是一點點，而是一大片。

　　即便你給它這樣一張圖片。

　　隻要給出要求。

　　AI修圖師也能很好的重建出來。

　　左邊是腦補的結果，右邊是真實的照片，對比一下，你會點贊的……

　　再展示一組。

　　甚至，隻給一個帶顔色的簡筆畫，AI修圖師也能生成接近原照片的結果。

　　你看：

　　這是怎麼做到的？

　　原理解讀 其實這個最新出現的AI修圖大師，來自韓國電子通信研究院（ETRI）。背後是一個名叫SC-FEGAN的模型，可以分為生成器、鑒别器兩大部分。

　　輸入一張不完整的圖片，加上蒙版、線稿或者顔色信息，生成器就能推斷出編輯後的照片。然後，鑒别器來判斷這張照片是不是P得天衣無縫。

　　生成器基于英偉達推出的圖像修複模型U-net，一共有16個卷積層，所有卷積層都使用3x3大小的門控卷積（gated convolution）。

　　除了輸入和輸出之外，所有卷積層之後都應用英偉達在2017年提出的局部響應歸一化（LRN）。

　　生成器中還引入了各種損失訓練，包括每像素損失、感知損失、風格損失、總方差損失以及通用的GAN損失函數。

　　鑒别器，使用的是伊利諾伊大學厄巴納-香槟分校（UIUC）和Adobe研究團隊在2018年提出SN-PatchGAN中的架構。

　　使用了3x3大小的卷積核并應用了梯度懲罰損失項，并沒有将ReLu函數應用到GAN損失之中。

　　數據集

　　在這項研究中，訓練使用的是香港中文大學湯曉鷗組收集的人臉數據集CelebA-HQ數據集。

　　在其中随機選擇兩組共29000張圖像用于訓練，1000張圖像用于測試。

　　将圖像統一調整為了512x512像素之後，通過自由蒙版和加州大學聯合Adobe推出的面部圖像生成算法GFC創建對應的草圖和顔色數據。

　　創建顔色數據時，使用直方圖均衡化來避免光反射和陰影造成的顔色污染。

　　然後，使用加州大學HED邊沿檢測器，來生成與用戶輸入相對應的草圖數據，修改面部圖像，然後平滑曲線，并擦除修改圖像産生的細小邊緣。

　　效果怎麼樣？ 研究中，與伊利諾伊大學厄巴納-香槟分校和Adobe研究團隊的網絡Deepfillv1進行了對比。

　　在對人物面部進行了大面積胡抹亂畫之後，Deepfillv1雖然對整體進行了複原，但是各種塗抹痕迹，以及細節處理，都遠遠不及新提出的SC-FEGAN。

　　此外，與其他的研究相比，SC-FEGAN對數據的依賴并沒有那麼高。

　　哪怕是是輸入一幅完全塗抹掉的圖像，也能生成一些頭發絲出來。

　　傳送門 這篇論文，來自韓國電子通信研究院，作者是Youngjoo Jo和Jongyoul Park。

　　這項研究的模型代碼，已經在GitHub上開源了，并且提供了帶有圖形界面的Demo，但需要下載安裝。

　　如果你對這項研究感興趣，請收好傳送門：

　　SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

　　htt

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!