綠幕摳圖新手?圖片來源@Unsplash在極富動感的音樂中，一名少年踏着滑闆穿過了崇山峻嶺和西部公路，就在你以為這是某個電影片段時，畫面一轉，屏幕外的少年隻是在原地擺姿勢，下面我們就來說一說關于綠幕摳圖新手?我們一起去了解并探讨一下這個問題吧!

綠幕摳圖新手

圖片來源@Unsplash

在極富動感的音樂中，一名少年踏着滑闆穿過了崇山峻嶺和西部公路，就在你以為這是某個電影片段時，畫面一轉，屏幕外的少年隻是在原地擺姿勢。

以往這種效果，往往通過專業團隊搭建綠幕完成，而現在一家公司想用AI技術“取代”綠幕，讓人在手機拍攝時，就能實時完成視頻摳圖。

這便是Versa（上海懿天網絡科技）公司推出的新産品“綠幕俠”，該産品希望能夠一部分“替代”綠幕，讓普通人也參與到微電影短視頻的制作當中。

如下圖所示，用戶進入“綠幕俠”後默認是綠幕，用戶還可選擇其他視頻場景如“梵高的博物館”、“徒步歐洲”和“像素人”等主題。視頻中的人像會被App自動摳圖出來，可改變大小或複制拼貼。據钛媒體觀察，當前産品中内置的許多視頻場景由用戶上傳。

用戶可在“綠幕俠”主頁可選擇不同場景拍攝視頻

Versa希望能做成手機端的Adobe，隻是前者的受衆偏向設計師等專業群體，而Versa公司希望能降低創意設計的門檻。與Adobe全家桶類似的是，未來versa也打算推出一系列産品，專門解決普通人在圖片、攝影、視頻和音樂方面的創意設計問題。另外，除了移動端，這些産品也将逐步在Pad和PC端上落地。

2018年8月，Versa推出了AI圖像處理App“馬卡龍玩圖”，該産品的定位是“手機端Photoshop”，其最重要的功能之一，就是利用計算機視覺中的AI圖像語義分割技術進行一鍵摳圖，實現人景分離和圖像分離。用戶不僅能一鍵P掉遊客照中的路人，還能穿梭于世界名畫、日漫風景等各種場景中。

蔡天懿對钛媒體透露，之後“馬卡龍玩圖”也會上線視頻摳圖功能，不過與“綠幕俠”不同的是，前者注重視頻的編輯功能，會對已有視頻做特效編輯；而後者重視拍攝過程，可實時摳圖完成特效。

用戶在産品的内容社區上傳自己的作品（圖片來源于馬卡龍玩圖）

AI圖像語義分割是Versa公司系列産品中最核心的技術。從“馬卡龍玩圖”到“綠幕俠”，Versa産品的處理對象完成了從圖像到視頻的跨越，兩者都基于AI圖像語義分割，隻是後者面臨的技術挑戰更大。

那麼，實時的視頻摳圖要如何實現，實現了部分特效制作的“綠幕俠”又有着怎樣的想象力？

視頻摳圖的技術攻堅戰

馬卡龍玩圖剛上線時僅能做到人景分離，現在已經能做到圖像分離，分割幾十餘種常見實例，除了識别人，人體各部分（如五官、頭發和衣服）還有人的附屬物（如背的包袋）等等。

視頻摳圖也是如此，多張圖片的連續便成了視頻。幀數越多，人所看到的視頻越細膩。電影的幀數是24幀/秒，而“綠幕俠”的頻率已經能達到30幀/秒，相當于1秒處理30張圖片，一張圖片約為33毫秒。

“綠幕俠”視頻摳圖示意圖（來源産品宣傳片）

在從圖像摳圖到視頻摳圖的轉變中，Versa團隊曾面臨一個問題：做實時視頻摳圖，AI模型的運算選擇雲端還是手機端？

“我們決定把運算放在手機端而非雲端。這主要出于實時處理、節省費用和個人隐私三方面的考量，”蔡天懿對钛媒體表示。

他補充道，首先，在雲端處理往往有100毫秒的時延，而“綠幕俠”是實時摳圖替換背景，有時延便無法做到實時。其次，視頻處理跑在雲端需要額外負擔比圖片處理高30倍的雲端服務器的成本，且用戶數越多成本越高。第三，拍照視頻都屬于個人私隐，上雲也會存在安全隐患。實現手機端運行是綠幕俠App落地的首要條件。

像前段時間流行的FaceApp能讓人一鍵變老，該産品就是要先上傳到雲端再做計算，不僅會受到網絡狀況的影響，還被質疑上雲會侵犯用戶的隐私。

但是把視頻摳圖放在手機端運行，技術門檻并不低。這既需要将雲端的大算法模型縮小到手機端同時又保證處理效果，又需要能夠提供足夠算力的手機芯片。

在算法模型的升級上，Versa的AI實驗室于今年3月份完成了模型小型化，實現了把模型從雲端放到手機端的前提。

蔡天懿對钛媒體舉例道：“如果用一台8000塊錢電腦的GPU做人景分離，一張圖需要100毫秒，一秒僅能做10張圖；但Versa的算法模型一秒可處理30張圖，還要保證一定的精度。優化後AI模型增強了其處理能力。”

在模型優化後，蔡天懿發現許多芯片依然帶不動他們的AI模型，他們需要一個算力足夠大的芯片。當前，“綠幕俠”産品在搭載麒麟810芯片的華為榮耀9X新機型上首發，麒麟810芯片内置了華為自研的達芬奇架構NPU，能為AI模型提供足夠的算力支持。

“事情的本質是，我們有很好的AI模型，你敢有很好的芯片嗎？華為有了”，蔡天懿打趣道。

不過，不同芯片對于AI語義分割的效果也是十分明顯的。據蔡天懿表示，如果在其他芯片算力不夠的手機上運行，效果出現幀數減半、卡頓或者精度不足也是無可避免的。這也是該産品在華為榮耀9X機型首發的原因。

“綠幕俠”不止于工具

新技術會帶來新的工具，新的工具又帶來新的玩法。

“除了18-25歲的年輕用戶，現在很多跳廣場舞的阿姨也在用我們的産品，她們會把自己跳舞的照片P到荷葉中間去，我們很高興能為普通人實現創作夢想，”蔡天懿對钛媒體表示。

如何從工具轉型為社區，是圖像和視頻處理工具普遍面臨的挑戰。即便美圖秀秀這種頭部的美顔修圖工具在轉型内容社區時也會受挫。業内人士曾對钛媒體分析，轉型失敗的原因在于該類工具的社區充斥大量自拍照片，内容同質化所以缺乏吸引力。

蔡天懿也認為，“用戶的創意内容才能使社區内容更多元。”為此，Versa官方也會推出話題鼓勵用戶作圖并發布在社區中。

除了在C端獲客，Versa也正在考慮和短視頻直播方和影視制作方合作。據蔡天懿預計，夾層廣告将為短視頻直播類産品帶來廣告收益。實時視頻摳圖也将降低傳統綠幕特效和動作捕捉的成本，并且減少後期制作周期。在不斷優化下，未來或可達到影視制作工業級效果。

Versa還上線了OpenAPI平台，為開發者們與企業用戶提供多種圖片API接口如風格渲染、人像分割、智能填充等，并為企業提供定制化的服務。

當前，Versa已經完成來自包括紅杉資本、真格基金和臻雲創投在内的三輪融資。去年12月，Versa獲得了來自騰訊的數千萬美元A輪融資。Versa還與上海交大聯合成立了“腦科學與人工智能”實驗室，去年一年發表了100多篇相關領域論文。

蔡天懿對钛媒體表示，接下來Versa有三個深化方向：首先是做的更精細，讓邊緣清晰到連頭發絲也能摳圖出來；第二是要更快，希望每秒處理的幀數可以提高；第三是更多，希望不隻能把人摳出來，還可以摳更細的物體，比如鞋子、衣服等等。

“你知道鋼鐵俠的眼鏡‘伊迪斯’嗎，隻要戴上就能把每個物體掃描出來。我希望能達到這種圖像分割的效果，處理的更快也更多。”蔡天懿說。

（本文首發钛媒體，作者/蘆依，編輯/蔡鵬程）

更多精彩内容，關注钛媒體微信号（ID：taimeiti），或者下載钛媒體App

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!