近日，2021全球人工智能技術大會在杭州召開。本次大會彙集來自世界各地的人工智能領域專家，共同為人工智能的未來發展建言獻策。在6月5日召開的計算機視覺專題論壇上，快手Y-tech部門AI技術平台負責人萬鵬飛受邀發表了題為《短視頻UGC智能創作中的計算機視覺技術》的演講，從産業的角度分享了計算機視覺技術在短視頻智能創作方向的應用和發展趨勢。

作為國民短視頻社區，快手用戶日均使用時長99.3分鐘，整體日活達3.792億。在龐大的用戶與流量基礎上，快手形成了富有活力的内容創作生态，平台内有300億 原創視頻庫存，每月新增創作者1000w 。其中大部分内容是廣大普通用戶創作的，即UGC（User Generated Content）。據萬鵬飛介紹，UGC強調人機協同，内容創作的主體是人，技術輔助人做創作；智能創作則強調技術有一定的自動化能力，可在内容創作中起到“降本增效”的作用。對應到實際産品中，快手系産品的UGC智能創作主要涵蓋了三大類功能：人像美化功能、影音特效功能和獨立創作工具。

人像美化功能：快手的人像美化功能包括美顔、美型、美體、美妝、濾鏡、畫質增強等。除經典的基于圖形圖像處理的技術方案外，快手将基于深度學習的CV技術融入到了人像美化中，大幅提升了用戶體驗。例如用神經網絡來提高人像照片的畫質或讓照片中的人更年輕，以及通過環境光照估計使美妝效果在實際場景中更加自然等。

影音特效功能：除了常見的各種人臉AR裝飾外，特效功能的含義非常廣泛，包括但不限于各種玩法道具、貼紙動效、視頻模闆和小遊戲等。例如萬物AR玩法是用攝像頭掃描通用物體并觸發效果（如讓濕紙巾跳舞），活照片玩法可以使一張圖按照特定方式動起來（如前陣子很火的“螞蟻呀嘿”），這些都是特效技術的範圍。

獨立創作工具：快手此前已經推出“快影”和“一甜相機”等多款受歡迎的工具産品幫助用戶進行視頻和圖像的專業創作，最近還剛發布了一款主打高清修圖的“原片”app。除這些産品外，此次大會上萬鵬飛重點介紹了另外兩個比較特别的獨立創作工具。

第一個是虛拟偶像創建和開播工具—A站面捕助手，用戶能以很低的成本創造自己的虛拟形象，并讓虛拟形象跟着自己動起來，進行直播互動和内容生産。大大降低了普通人或商家擁有和運營屬于自己的虛拟偶像的門檻。

第二個是快手特效開放平台—必揚特效平台，在這個平台上，人們可以設計和創造自己的特效玩法，發布到快手讓更多人體驗，并可獲得平台激勵。通過這個方式，短視頻平台、特效創作者、特效消費者形成了一個互利共赢的生态。

短視頻UGC智能創作各種功能的實現大多依托于（但不僅限于）計算機視覺技術，即CV技術。在演講中，萬鵬飛從産業應用的角度，按照人體感知與重建技術、環境感知與重建技術、像素級語義分析、生成式技術和多模态技術這五個技術方向進行了介紹。

人體/環境感知與重建技術：感知和重建是智能創作的重要前提，也是CV領域的重要課題。主要包括點/框檢測、物體/場景識别、動作捕捉、VO/SLAM、3D重建等，這些基礎CV技術有力保障了快手用戶的創作體驗。

像素級語義分析：這方面用途最廣的是分割技術，俗稱摳圖。除了比較常見的人像分割外，萬鵬飛展示了一個快手實時天空分割的案例，不論是窗戶的遮擋，還是建築與天空的連接處，都分割得非常細膩。除各種分割摳圖外，有時候也需要對畫面中的其他語義信息進行分析，如深度和法線等。

生成式技術：以生成判别網絡（GAN）為代表的生成式技術是近幾年非常火熱的課題。生成式技術除了可以做各種好玩的特效外（如“童話臉”特效），其應用已深入到智能内容創作的方方面面。例如傳統的染發效果是在頭發上疊加一層顔色，效果很假。用生成式技術染出來的頭發，則更像是現實中實際染上去的效果。

多模态技術：現實世界中人們感受和表達信息大多是多模态的。一個短視頻，不隻有畫面，還有聲音、文本信息等，因此UGC智能創作也應該對多模态信息進行聯合建模。在智能創作方面，多模态技術的落地場景有很多，包括為短視頻配樂、配文案，圖文轉視頻，以及文字生成畫面等。

以上這些技術在實際落地中會面臨很多挑戰，包括如何保證算法在各種不同的機型上都能發揮最好的算法效果且保證運行流暢。如何保證用戶在各種使用場景中能保證算法的魯棒性等。這些都是CV技術在實際業務落地時必須考慮和解決的問題。

在演講的最後，萬鵬飛展望了短視頻UGC智能創作技術未來發展的五大趨勢：“首先是從單模态到多模态，利用多模态信息進行智能創作；第二，生成模型會越來越強大。生成的内容更加逼真，且生成的過程更加穩定可控；第三，内容形态走向虛實融合。虛拟與現實的邊界變得模糊，混合現實技術很有前景；第四，從輔助制作到輔助創意，技術需要幫助人們解決内容創作中的創意瓶頸問題；最後，計算模式将走向雲邊端聯合計算，強大的計算能力将為用戶解鎖更多更智能的創作體驗” 。

— 完 —

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!