如何讓“無聲世界”看懂冬奧？揭秘手語播報“數字人”

封面新聞記者 邵萌

北京冬奧會正如火如荼進行，然而，透過畫面、解說等形式欣賞賽事直播，對聽障人群來說卻是件困難的事。據全國第二次殘疾人抽樣調查資料，中國有超過2700萬名殘疾性聽力障礙人士。如何讓“無聲世界”淋漓盡致感受北京冬奧會的賽事盛況？採用我國首個超大規模智慧資訊模型和虛擬數字人技術，為聽障人士打造了“冬奧手語播報數字人”。

冬奧手語播報數字人。受訪者供圖

封面新聞記者注意到，大螢幕上，一位身著紅色西裝，扎著丸子頭的女性數字人手指翻飛，根據主持人的語音將冬奧賽事同步播報。

據悉，“冬奧手語播報數字人”系統基於“悟道2。0”大規模智慧模型，由北京市科委、中關村管委會支援，智譜AI、凌雲光和北京廣播電視臺聯合打造。智譜AI高階副總裁左家平表示，“悟道2。0”類似於一個儲存了1。75萬億條知識的大腦。基於這個虛擬數字型的大腦，研發出了我國首個原創虛擬學生“華智冰”，在此基礎上，又打造出“冬奧手語播報數字人”。

左家平稱，“冬奧手語播報數字人”系統完成了《國家通用手語詞典》收錄的8214條通用手語的採集和錄製，並且語法都以聽障群體習慣打法為準，以確保更好地服務聽障人群。由於當前國內缺少較完善的手語語料資料，研發人員邀請超過40餘位聾人老師及手語專家進行手語文字轉寫和技術指導，並進行大範圍聽障群體評測，最終構建了符合國家通用手語規範的國內最大規模多模態手語語料庫，詞彙及語句總規模超10萬。

多模態動作捕捉資料採集現場。受訪者供圖

除了豐富的語料庫之外，如何讓手語速度在跟得上播報速度的同時，實現高精度、高自然度的手語動作姿態是一大問題。冬奧手語播報數字人專案技術負責人杜冀中介紹，系統以超大規模預訓練模型為核心技術，透過語義蒸餾及手語翻譯快編模型，實現對新聞播報語音進行精簡，並翻譯成符合手語習慣的語序。研發團隊還自主搭建了多模態肢體動作、表情、手指同步採集系統。透過採集多模態動作捕捉資料，運用跨模態擬人生成演算法對超寫實數字人進行自然、流暢的驅動和渲染，實現對文字內容的手語播報。

據悉，除了便捷聽障人士收看賽事專題報道，手語播報數字人的推廣將加速國家通用手語推廣落地，推動國家通用手語標準普及。技術團隊透露，後期該數字人有望在電視臺、機場、銀行等場景推廣，為殘疾人平等參與社會生活創造無障礙環境，讓科技更有溫度。

【如果您有新聞線索，歡迎向我們報料，一經採納有費用酬謝。報料微信關注：ihxdsb，報料QQ：3386405712】