2022年11月19日 星期六

臉書開源可精確評估多對多翻譯模型的Flores-101資料集



臉書開源了,這是一個涵蓋101種語言的多對多評估資料集,可以用來測試並且改進多語言翻譯模型。


臉書最近發表了重要的語言模型M2M-100,能夠翻譯100種不同的語言,但是臉書提到,新的翻譯系統需要使用更為先進的工具進行測試。因此他們創建了FLORES-101,用來突破語言障礙,並且協助開發人員創建更多樣化的翻譯工具,臉書現正製作更加完整的FLORES-101資料集、技術報告和數個模型,供研究社群使用,以加速全球翻譯系統的發展。


之所以評估很重要,臉書解釋,這就像是烤蛋糕一樣,如果無法品嚐蛋糕,就無法知道優缺點,也就沒辦法在之後進行改進,而評估翻譯系統效能的道理相同。評估翻譯系統一直是人工智慧研究人員的挑戰,當無法良好地衡量或是比較翻譯系統的結果,就無法發展出更好的翻譯系統,臉書表示,人工智慧社群需要一個開放且易於取用的方法,來評估和測量多對多翻譯模型,並且方便地與其他模型進行比較。


過去這個工作很大程度仰賴英文翻譯,但這僅有英語使用者受益,不足以滿足需要準確翻譯區域語言的需求,像是在印度,憲法就承認了20種官方語言。為了解決這個問題,臉書創建了FLORES-101資料集,這個資料集主要針對低資源語言,像是蒙古語和烏都語等,這些語言目前都沒有可用於自然語言處理研究的大量資料集。



全自動飲水機與一般飲水機差異在哪?

推薦各種冰溫熱開飲機飲水機:台銀採購契約飲水機、日本進口電解水機系列、落地型飲水機


總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。


幫你考照過關,堆高機裝卸操作教學影片大公開 !

上千家公司找到最適合的堆高機搬運方案,專業的規劃與完善的售後服務,讓孚克力堆高機與各大知名廠商建立長期合作。


貨櫃屋優勢特性有哪些?

由於貨櫃屋[可移動/施工快速/可組裝、堆疊(延展性高)/可回收/未來擴充便利]等特性,二手貨櫃屋已普遍被應用於展場活動、居家住宅、工業商辦上。


透過FLORES-101,研究人員首次可以利用10,100個不同語言方向,可靠地評估翻譯品質,像是從印地語到泰語或是史瓦希利語,臉書提到,他們從一開始在設計FLORES-101的時候,就考量到多對多翻譯,這個資料集包含所有語言相同的語句集,讓研究人員可以評估任何方向翻譯的效能。


FLORES-101資料集經過許多人工步驟製作而成,每個文件都由專業翻譯人員翻譯,再以人工編輯進行驗證,臉書還找人來檢查拼寫、語法、標點和格式,以控制翻譯的品質,並使用商業引擎的翻譯進行比較。之後由另一組不同的翻譯人員進行人工評估,找出包括不自然的翻譯和語法等錯誤,根據錯誤的嚴重程度重新翻譯。


除了要求翻譯品質之外,FLORES-101的特點包括針對低資源語言設計,在FLORES-101中有80%的語言都是低資源語言,而且翻譯的文字橫跨多個領域內容,有新聞、旅遊指南和不同主題的書籍。


FLORES-101的翻譯文字都是以文件為單位,臉書提到,機器翻譯的最新研究顯示,需要文件或是超過單一句子的翻譯資料集,藉由將上下文列入考量,才會使翻譯效果更好,而FLORES-101中翻譯文件中的多個相鄰句子,可以用來評估加入上下文考量的翻譯品質。另外,FLORES-101還提供了翻譯的後設資料,包括超連結、URL、圖像和文章標題等資訊。


臉書表示,FLORES-101是一個實現多對多模型評估的資料集,並且透過這個新的資料集,可以加速包括M2M-100等多語言翻譯模型的開發工作,尤其使得低資源語言的機器翻譯,能夠獲得更多的進展。

https://www.ithome.com.tw/news/144879


SMD electronic parts counting machine

累積多年設計生產 Embossed Carrier Tape承載帶的實際經驗,專為電子主、被動零件設計、包裝、製造、改良承載帶、奠定了良好基礎


客製專屬滑鼠墊、可愛造型L夾L型資料夾、透明證件套、手提袋,專業印刷設計廠商!

通過SGS環保認證,無毒無害 環保材質符合歐盟RoHs、REACH認證


票選推薦煮婦最愛手壓封口機,省荷包不犧牲品質

意信臻專營:封口機、各式包裝機械、專業製造、全省批發零售



空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。




Orignal From: 臉書開源可精確評估多對多翻譯模型的Flores-101資料集

沒有留言:

張貼留言