為聽障人士打造的“冬奧手語播報數字人”近日在北京衛視正式上崗。在電視屏幕左下角，以虛拟學生“華智冰”為外形的數字人手指翻飛，迅速用手語進行播報。新京報記者獲悉，數字人采用我國首個超大規模智能信息模型和虛拟數字人技術，它将為聽障人士提供手語信息播報服務，使他們收看賽事專題報道時快速獲取訊息。

“冬奧手語播報數字人”在《北京您早》節目投入應用。受訪者供圖

構建高質量手語語料庫，詞彙語句規模超10萬

目前，我國聽障人群數量達到2700萬，專業場景的手語服務資源匮乏。與此同時，手語翻譯供需缺口大，冬奧專業術語翻譯難度大。在北京市科委、中關村管委會的支持下，智譜AI、淩雲光和北京廣播電視台聯合打造了“冬奧手語播報數字人”。

手語生成涉及多領域交叉，包括計算機視覺、自然語言處理、跨媒體計算、人機交互等，面臨的挑戰巨大。系統以超大規模預訓練模型為核心技術，自主搭建多模态肢體動作、表情、手指同步采集系統，運用跨模态拟人生成算法、超高精度寫實數字人等行業領先技術，實現冬奧期間賽事新聞的專業手語翻譯播報。

“我們首先構建了國内最大規模多模态手語語料庫。”智譜AI高級副總裁左家平介紹，“冬奧手語播報數字人”系統完成了《國家通用手語詞典》收錄的8214條通用手語的采集和錄制，并且語法都以聽障群體習慣打法為準，以确保手語播報成果的準确性和專業度，更好地服務聽障人群。

由于當前國内缺少較完善的手語語料數據，研發人員在北京市殘疾人聯合會和市殘聯聾人協會的支持下，邀請超過40餘位聾人老師及手語專家進行手語文本轉寫和動作捕捉錄制，并進行大範圍聽障群體評測，最終構建了高質量的手語語料庫，詞彙及語句總規模超10萬。“這裡不光有體育詞彙和冬奧術語，還有新聞播報會用到的各種詞彙。”

打造“智能數字腦”，播報語音關鍵信息并轉換手語

手語和口語的播報速度不同。主播進行播報時，一分鐘大概可以說兩百多個字，手語靠肢體表達，速度比較慢，因此要跟得上播報的速度，需要對播報内容進行摘要，将核心語義表達出來。

“比如主播說今天北京風和日麗、晴空萬裡，手語播報要和語音同步匹配，就隻表達‘今天北京天氣好’”。智譜AI數字人事業部CTO杜冀中說。

他還提到，手語語序和自然語言有所區别，習慣“否定詞後置”。比如“我不高興”，手語會按照“我”“高興”“不”的順序翻譯出來。

“冬奧手語播報數字人”如何能參透手語的這些特點？據悉，系統以超大規模預訓練模型為核心技術，通過語義蒸餾及手語翻譯快編模型，實現對新聞播報語音進行精簡，并翻譯成符合手語習慣的語序。

數字人播報逼真自然，表達可懂度達90%

數字人進行口語播報，也需要親切自然，符合審美觀，不能讓觀衆産生“生硬”的感覺。

為實現高精度、高自然度的人物形象和手語動作姿态，研發團隊還自主搭建了多模态肢體動作、表情、手指同步采集系統。通過采集多模态動作捕捉數據，運用跨模态拟人生成算法對超寫實數字人進行自然、流暢的驅動和渲染，算法可以自動對其每段動作捕捉數據，為相鄰動作之間生成平滑的過渡動作。

左家平說，口語老師進行口語播報時，也會借助口型，讓聽障人士理解得更清楚。因此數字人播報時也會有口型的變化。“目前，這套系統隻做了九個月，已經能夠實現手勢和口型的匹配。未來通過進一步研發，數字人還将在表情上有更加豐富的體現。”

目前，“冬奧手語播報數字人”已經實現了“表意的準确性”和“表達的可懂性”。經過測評，其表達可懂度已經達到90%。

數字人能7×24小時工作，未來或可用于手語教學

“冬奧手語播報數字人”已于冬奧開幕後，每日持續在北京衛視《北京您早》節目中對“冬奧賽事集錦”和“一起看冬奧”進行手語播報。

後奧運時代，“冬奧手語播報數字人”還将有哪些應用？據悉，數字人可以為新聞媒體提供數字人手語生成服務，方便聽障人士快速了解新聞簡訊。同時，數字人可以7×24小時工作，解決手語翻譯人員不足的問題。

北京廣播電視台新聞頻道中心副主任王毅說，手語比較複雜，中國手語存在“方言”上的差異。在手語老師緊缺的情況下，如果用人工智能進行标準版手語播報和教學，會減少誤差，加速國家通用手語推廣落地，為殘疾人平等參與社會生活創造無障礙環境。他表示，未來将在更多頻道和節目中運用手語播報，方便聽障人士獲得更多資訊。

左家平表示，手語播報數字人的形象也不局限于“華智冰”，可以根據使用用戶喜好換成其他偶像形象。

新京報記者 張璐

編輯 樊一婧 校對 李立軍

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!