德国美因茨翻译学院

面向世界科技前沿,面向國家重大需求,面向國民經濟主戰場,率先實現科學技術跨越發展,率先建成國家創新人才高地,率先建成國家高水平科技智庫,率先建設國際一流科研機構。

——中國科學院辦院方針

首頁 > 科研進展

自動化所提出一種適用于低資源和零資源的多語言機器翻譯方法

2019-06-11 自動化研究所
【字體:

語音播報

  機器翻譯是利用計算機實現從一種自然語言到另一種自然語言自動轉換的技術。為了實現多語言之間的相互翻譯,通常需要構建多個一對一的翻譯模型。一方面每個翻譯模型需要大規模存儲和計算資源,從而多語言翻譯的存儲和計算消耗非常巨大;另一方面多語言翻譯在獨立模型下無法實現知識共享。現有基于編碼器-解碼器的統一多語言翻譯框架雖然可以較好地解決資源占用問題,卻面臨著參數共享和語言共性未被充分利用的問題,導致目前多語言翻譯系統的譯文質量較低。因此,如何平衡翻譯知識的共享和獨立,既解決資源消耗問題同時利用語言共性提升譯文質量,成為多語言機器翻譯的核心挑戰。針對該挑戰,中國科學院自動化研究所自然語言處理團隊提出一種結構緊湊且語言敏感的多語言機器翻譯方法,提供了有效的解決思路,相關成果將發表在ACL-2019學術會議上。

  該工作主要基于編碼器和解碼器框架下的多語言機器翻譯。首先在模型表示方面,團隊提出了一種表示器模型,共享編碼器和解碼器的模型結構與參數,取代多語言翻譯框架下的編碼器和解碼器,從而顯著減少了模型參數的規模,更好地利用了語言之間的共性。同時,為了提升模型對不同語言的區分能力,團隊提出了三種語言敏感的模塊,分別是語言敏感的詞向量、語言敏感的注意力機制以及語言敏感的判別器。

  針對不同語言,團隊設定一個語種向量,該向量稱之為語言敏感詞向量。如下圖最底端所示,該語種向量加到輸入的詞向量中,并在訓練過程中進行調優。下圖紅色虛線標明了語言敏感注意力機制模塊,該模塊對于不同的翻譯任務,動態地選擇不同的注意力機制。下圖最頂端是團隊新提出的語種判別器模塊,該模塊對表示器的最上層的隱式表示進行語種分類,增強在解碼過程中對不同語言的區分能力。

  團隊分別在較大規模的WMT數據集和較小規模的IWSLT數據集(如表1所示)上進行了一到多和多到多的多語言翻譯實驗,來驗證該方法的性能。相較于之前的多語言翻譯模型,該方法均有一定的提升,甚至在一些語言對上面超過了獨立一對一模型在雙語上訓練的模型。同時,該方法極大地壓縮了模型參數規模,其中在一到四多語言翻譯中,在僅包含20%左右的參數規模的情況下就能取得可比的翻譯性能。

  在多種語言到多種語言的翻譯情境下,團隊對提出的方法進行了測試。該方法相較于基線系統有了顯著的提升,其中在語料不平衡的翻譯情境下,在英-越雙向翻譯任務上都取得了當前最好的性能。同時,在零資源的Zero-Shot翻譯情境下,該方法也比前人的工作有了一定程度的提高,說明該方法能夠很好地利用語言之間的共性,適用于低資源和零資源的翻譯情形。

  論文信息:Yining Wang, Long Zhou, Jiajun Zhang, Feifei Zhai, Jingfang Xu, Chengqing Zong. A Compact and Language-Sensitive Multilingual Translation Method. ACL-2019.

 

模型結構示意圖

打印 責任編輯:葉瑞優

掃一掃在手機打開當前頁

© 1996 - 中國科學院 版權所有 京ICP備05002857號 京公網安備110402500047號

聯系我們 地址:北京市三里河路52號 郵編:100864

  • 德国美因茨翻译学院 pk10计划人工在线计划 安徽时时计划软件qq 福彩3d万能六码走势图 pk10的骗局简单吗 江苏十一选五胆拖投注表 免费领航计划软件 反倍投方案 腾讯21点 时时彩包胆赔率 旧版单机斗地主下载 红单来了赚钱吗 上海时时网站 双人斗地主具体玩法 时时彩定位胆五码技巧 十一选五走势图山东 重庆时时开奖直播app