長期以來，高質量的視頻需要依靠專業的編輯工具來處理原始素材以生成引人入勝的視頻畫面，但這種的情況正在發生改變。在今年11月，來自清華大學和北京航空航天大學，美國哈佛大學和以色列IDC Herzliya的全球人工智能科學家團隊，在澳大利亞布裡斯班舉行的ACM SIGGRAPH亞洲會議上展示團隊開發的一種基于人工智能的 “由文本生成視頻” 的視頻生成技術。利用這個技術，隻需要輸入文本，算法可以自動從數據庫中選擇場景或鏡頭來描繪故事情節，即便是不會視頻制作的 “新手” 也能制作高質量的視頻蒙太奇，而無需專業的視頻制作和編輯技能。

由文本生成視頻蒙太奇

随着以卷積神經網絡（CNN）及生成式對抗網絡（GAN）為代表的人工智能算法技術在影像領域的應用和進一步的成熟，使得計算機視覺技術在近年來大放異彩。特别是在許多單一場景下的技術進步更是加速了智能影像時代的到來，人工智能影像技術不同于靜态圖片的識别和處理，融合了圖、文、音、影等不同的信息内容，以其中的文本處理技術NLP為例，在過去的幾十年間NLP技術一直未有重大的突破，直到2018年谷歌AI團隊新發布的BERT模型（Bidirectional Encoder Representations from Transformers，即一種基于神經網絡的自然語言處理預訓練的技術），在機器閱讀理解頂級水平測試SQuAD1.1中表現出驚人的成績，全部兩個衡量指标上全面超越人類，BERT為NLP帶來裡程碑式的改變。這些技術的發展促進了圖像、文字、音頻、視頻等不同信息載體之間實現任意的轉換，編輯，生産和加工，将成為智能影像的重要基礎設施。人類一直在追求極緻的視覺享受，更有沖擊力的視覺效果和更加有創意的影像内容，這些需求一直在推動影視和媒體行業的發展。正如前文所展示這一最新的進展，IDC Herzliya的Efi Arazi計算機科學學院院長Ariel Shamir教授強調：“由文本生成影像技術，展示了自然語言處理技術與技術機視覺技術結合的潛力，并通過獨特的用戶界面來實現更自然，更簡單的視頻制作。” 這是首次将人的能力和人工智能技術以最易用的方式結合在一起，形成的智能影像工具可以幫助人們實現創意過程，不僅可以定義場景的視覺風格，鏡頭的美學吸引力，還可以實現複雜的蒙太奇效果。

實際上，除了利用人工智能技術實現影片中的形象和一系列表演的制作自動化以外，影視行業也在向自然語言文本自動生成影視内容的這一課題發起挑戰。迪士尼研究院的研究人員已經嘗試通過人工智能系統，從創作人員的劇本中通過自然語言技術提取信息并理解劇本的故事主線，再形成以故事為中心以及以人物為中心的推理。 這些推理功能的構建通過直觀的查詢系統向創作人員開放，允許腳本編寫者向系統詢問有關故事和角色信息的問題，并形成可視化的動畫或視頻的展示，導演可以更直觀地了解角色将如何在場景中進行表演，以及腳本的變化會怎樣影響場景，并對劇本進行分析然後生成故事分鏡和動畫。這一技術在近期的迪士尼一系列影片創作過程中得到了應用，證明可以大幅節省影視編劇人員的精力，縮短電影創作所消耗的時間。迪士尼的研究團隊通過在多個電影制作過程中的反饋，逐步地改進和優化這個系統。面對影視媒體這個萬億規模的市場，國内在影視和媒體制作方面也一直在發力追趕，将智能影像技術作為新型的内容生産工具已取得業界的重視。芒果TV獨立制作的熱播節目《我最愛的女人們》通過與國内智能影像技術廠商影譜科技合作，在播出過程中品牌商隻需要給出品牌露出的需求文本，通過人工智能技術會自動匹配内容中最合适的場景，并自動化對節目内容加工，品牌的展示與影視内容無縫融合，利用人工智能技術取代了傳統的 “事前” 、“事中”及“事後”布景、剪輯、編輯和加工所需的大量人力，這一技術同樣可用于影視拍攝和制作。

由文本生成影像是智能影像技術領域的一個分支，這一應用的成熟可以用于很多不同領域，如電影劇本編寫、創意營銷、教學視頻和公共安全等衆多領域，發展前景十分廣泛，但依然面臨幾方面的挑戰：首先是數據的問題，人工智能算法的優化以及影像的生成需要有大量的可用于訓練的數據以及高質量的素材，這一點對衆多的企業和開發者形成了很高的門檻；其次是自然語言處理，BERT證明了一個非常深的模型可以顯著提高 NLP 任務的準确率，而這個模型可以從無标記數據集中預訓練得到，可以顯著提高知識圖譜質量，但仍需要在特定的場景中進行訓練以提高準确度；最後就是平台化，除了少數在線視頻互聯網企業外，多數的影視及視頻行業仍缺乏對計算機視覺以及NLP方面的專業能力和經驗，更需要融合了算法、算力、數據以及用例的平台。

國際及國内的影視、廣電、在線視頻等産業各方充分認識到了人工智能對這一産業的颠覆性意義，都在加大在智能影像領域的投入，以愛奇藝為例，其研發團隊調整了研發方向，在2019年提交的專利申請中超過60%都是與人工智能相關。智能影像行業的快速發展将出現新的産業格局，一方面是在産業核心生産流程中更為廣泛的引入人工智能技術，加速自身的智能化升級，另一方面是将湧現衆多融合算法、模型、數據、算力等多種能力的智能影像平台企業，這一領域目前以影譜科技為代表企業。随着智能影像平台化企業的發展和生态的繁榮，将更深度地助力影視和媒體行業充分利用人工智能技術升級自身業務流程，并推動實現數字化到智能化的跨域。

來源：中國日報網

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!