近日，計算機視覺領域内最負盛名的學術會議——IEEE國際計算機視覺與模式識别會議（CVPR）在美國加州舉行，會上頒發了Workshop NTIRE 2019視頻複原比賽相關獎項，由中國科學院深圳先進技術研究院、商湯科技、香港中文大學、南洋理工大學組成的聯合團隊研發的一套EDVR算法，包攬了該比賽四個賽道的全部冠軍，且每個結果都大幅領先賽道第二名。

值得一提的是，這是該賽事舉辦以來首次以視頻複原作為競賽任務，而此前三屆比賽都僅以圖像複原為主題，這意味着任務的難度達到了全新高度。“這是計算機視覺領域一次革命性的比賽，相信行業内很快将掀起一場視頻複原算法的潮流。”聯合團隊成員、深圳先進院數字所多媒體集成技術研究中心的董超博士接受采訪時表示。

創新算法解決兩大難題：模糊低清小視頻變高清

此次視頻複原比賽包含兩個視頻去模糊和兩個視頻超分辨率賽道。所謂視頻去模糊，是将畫面模糊的視頻還原成清晰視頻，而視頻超分辨率則是将低清的小視頻複原為高清的大視頻。“與圖像複原相比，視頻複原有大量的時空冗餘信息可利用。”董超說，“因此，清晰度能夠比單一圖像複原更高，相應的難度也更大。”

在将EDVR算法與目前行業内最好的圖像超分辨率算法RCAN對同一視頻進行處理時，可明顯看到EDVR算法能夠還原出更多細節，這是因為傳統圖像算法僅将視頻的每一幀進行了單一的圖像複原，而EDVR算法則連續用了7幀畫面的信息來恢複一幀圖像。

“視頻複原必須解決圖像對齊和時空信息融合兩大問題。”據董超介紹，視頻相鄰幀存在一定的抖動，必須先對齊才能進行下一步處理。多幀圖像對齊後，便需要将挖掘出的時空信息進行融合，EDVR算法中發明的多個模塊很好地解決了這兩大問題。“這兩個步驟是所有視頻底層處理的基礎，解決了這兩個問題再做視頻的去模糊和超分辨率都可以。”董超表示，這也是為什麼團隊用一套算法便拿下了四個賽道的原因。

開源代碼引領潮流 ：視頻算法用途廣大

從比賽結果來看，共有14支隊伍進入最終的排名，聯合團隊的算法在大部分數據集上精度指标都是最高的。近日，團隊已公布所使用的算法論文，并将代碼全部開源。董超表示，将深度學習用于視頻複原是近兩年剛剛興起的新技術，技術難度大、門檻高，将代碼開源是希望引領技術潮流，讓更多團隊進入該領域，共同發展計算機視覺技術。

談及視頻複原算法的應用，董超十分看好市場前景。據他介紹，該算法在視頻直播、高清電視、手機拍攝、視頻監控等領域均潛藏巨大的需求量。以視頻直播為例，董超介紹說：“視頻直播非常消耗流量，如果能把高清大視頻壓縮成低清小視頻來傳輸，到客戶端後再通過算法恢複成高清大視頻，将節省成倍的流量。”

不過，董超也表示，盡管最新算法達到了視頻複原的效果，但距離實際産業化應用尚有一系列技術難題需要解決，而開源代碼恰恰能加速這個過程，預計三五年内該領域會有大量論文湧現。

聯合團隊多年攻關深耕底層計算機視覺

不僅在視覺複原大賽中一騎絕塵，在同期舉辦的圖像複原大賽中，聯合團隊論文同樣獲得冠軍。據介紹，利用深度學習解決圖像超分辨率問題，需要用到大量的訓練數據，一般情況下，至少200個以上的圖像對才能保證圖像的超分辨率效果。而此次比賽僅提供60個圖像對作為訓練數據，大大限制了超分辨率的效果。團隊的論文首次分析并解決了超分辨率網絡中的過拟合問題，即便使用少量的圖像數據，也可以獲得出色的結果。

這支在國際頂級計算機視覺大賽中脫穎而出的隊伍，由深圳先進技術研究院、商湯科技、香港中文大學和南洋理工大學組成，專注于底層計算機視覺，包括圖像和視頻的超分辨率、去噪與增強等技術。2014年團隊首次利用深度學習實現圖像超分辨率，引起了深度學習在底層視覺領域應用的熱潮。2017年，團隊獲得CVPR 2017圖像超分辨率的亞軍，2018年，團隊分别獲得CVPR18和ECCV18兩屆圖像超分辨率比賽單一賽道的冠軍。今年成績再創新高，也是聯合團隊多年深耕的結果。

今年1月，深圳先進院與商湯科技進一步合作，共同成立“未來視覺技術聯合實驗室”，據聯合實驗室負責人、數字所所長喬宇介紹，該實驗室将圍繞複雜視覺信息的深度分析與理解方法，以及其它AI前沿技術研究、新産品開發、技術平台建設、人才培養等多層面展開廣泛、深入合作，共同推進人工智能技術在各行業領域的示範應用和産業化協同發展。

【記者】杜豔

【作者】 杜豔

【來源】 南方報業傳媒集團南方 客戶端

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!