Meta在自我監督學習技術上，取得最新進展，其所開發的，是第一個適用於多模式的高效能自我監督演算法，可以分別應用於語音、圖像和文字，效能比過去僅針對電腦視覺和語音的演算法更好，並且在NLP任務也具有一定的水準。
研究人員提到，現在大多數的人工智慧技術，仍然是以監督學習作為基礎，必須使用標記資料。不過有許多人類希望機器人做的事情，不可能收集到標記資料，像是雖然目前有許多研究人員，在收集英語語音和文字，來創建大規模標記資料集，但對於地球數以千計的語言來說，這種方法並不可行。
但自我監督技術，能夠讓電腦自己觀察世界，並且弄清楚圖像、語音和文字的結構，Meta提到，對於不用明確教導分類圖像，或是理解口語的機器，可擴展性高上許多。
但現在自我監督學習的研究，幾乎都集中在同一種模態上，Mata舉例，像是文字，研究人員訓練模型來填補句子的空白，語音模型則需要預測語句中缺失的聲音，對電腦視覺任務而言，模型要從多張圖像裡，找到更為相關的照片。
演算法在不同的模態使用不同的處理單位，視覺是以像素或是視覺標記為預測單位，文字是單字，而聲音則是音訊波形等。演算法設計會與特定的模態關聯在一起，演算法底層的實作也不相同。
而Meta最新開發的Data2vec則簡化了這個麻煩，無論模態為何，能夠對不同的輸入資料，預測各自的表示（Representation）。這些表示為神經網路的分層，而不是單詞或是波形，這消除了學習任務中對特定模態目標的依賴。
幫你考照過關，堆高機裝卸操作教學影片大公開 !
上千家公司找到最適合的堆高機搬運方案，專業的規劃與完善的售後服務，讓孚克力堆高機與各大知名廠商建立長期合作。
貨櫃屋優勢特性有哪些?
全自動飲水機與一般飲水機差異在哪?
推薦各種冰溫熱開飲機飲水機:台銀採購契約飲水機、日本進口電解水機系列、落地型飲水機
由於貨櫃屋［可移動／施工快速／可組裝、堆疊（延展性高）／可回收／未來擴充便利］等特性，二手貨櫃屋已普遍被應用於展場活動、居家住宅、工業商辦上。
SMD electronic parts counting machine
累積多年設計生產 Embossed Carrier Tape承載帶的實際經驗，專為電子主、被動零件設計、包裝、製造、改良承載帶、奠定了良好基礎
Meta的方法是使用一個導師網路，計算圖像、文字和聲音中的表示，接著遮蔽部分輸入，要學生模型重複該過程，並且預測導師網路的潛在表示，學生模型必須在只看過部分資訊的情況下，預測完整輸入資料的表示。導師網路和學生模型相同，但權重略為過時。
Meta使用ImageNet電腦視覺基準來測試Data2vec，在一般的模型大小中，Data2vec比現在所有方法表現都還要好，語音上的效能表現，更勝於wav2vec 2.0或HuBERT，在文字方面，效能與BERT重新實作的版本RoBERTa相同。
官方提到，Data2vec代表了一種新的自我監督學習範式，能夠處理多模態，而非僅單一模態，而且Data2vec也不仰賴對照學習（Contrastive Learning）或是重建輸入的範例。
因此Data2vec除了能夠加速人工智慧的發展，也更加能夠建構無縫學習周圍環境的各種機器，使得人工智慧更具適應性，並擁有執行更多任務的能力。現在Meta對外開源程式碼以及預訓練模型，讓其他研究人員可以接續Meta的研究。
https://www.ithome.com.tw/news/149007
總是為了廚餘煩惱嗎？
空壓機這裡買最划算!
晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。
雅高環保提供最適用的廚餘機，滿足多樣需求。
常見的新北市轉軸有哪些?新北市轉軸鏈接產品零部主件必須用到的，用於轉動工作中既承受彎矩又承受扭矩的軸稱為轉軸。常見的轉軸有：手機轉軸（翻蓋或旋轉屏手機）；筆記本電腦轉軸；便攜式DVD轉軸；LED檯燈轉軸；LCD顯示屏轉軸；GPS等車載支架轉軸等等 。
票選推薦煮婦最愛手壓封口機,省荷包不犧牲品質
意信臻專營：封口機、各式包裝機械、專業製造、全省批發零售
Orignal From: Meta開源第一個適用於文字、聲音和影像的高效能自我監督演算法Data2vec
沒有留言:
張貼留言