人工智慧研究組織OpenAI今年1月底宣布，更換語言服務API背後所使用的模型，從過去所搭配的GPT-3，改成預設使用，根據研究證明，在遵循英文指示的處理上，InstructGPT的表現更好，而且生成更少的有毒（Toxic）內容，這也是OpenAI第一次將多年來的比對（Alignment）研究，用於產品之上，其概念是透過由人類示範的小型資料集，訓練模型減少有害的輸出。
過去，OpenAI API是以GPT-3語言模型為基礎，藉由人工文字提示，來執行自然語言任務，但GPT-3模型可能產生不真實、有毒，甚至有害情緒的輸出，官方解釋，這是因為GPT-3的目標，是利用大型網際網路的文字資料集，來預測下一個單詞，而不是安全地執行用戶想要的語言任務，也就是說，該模型的目標與用戶的預期並不一致。
因此OpenAI為了要改進模型，使其更安全，並且提供用戶更有用的輸出，研究人員使用了來自人類回饋的增強學習技術（Reinforcement Learning from Human Feedback，RLHF），根據用戶向API提交的提示，由OpenAI的標記員向模型提供示範行為，並對模型的輸出進行排名，藉此來微調GPT-3。
經過改進的GPT-3模型稱為InstructGPT，可以更好地遵循人類指示，有毒內容輸出也大幅降低。InstructGPT僅具有13億個參數，比起1,750億個參數的GPT-3模型小上許多，但研究人員提到，他們使用NLP效能評估方法來衡量InstructGPT的能力，發現InstructGPT並沒有輸給GPT-3，整體來說，標記員更認可InstructGPT的輸出結果。
買不起高檔茶葉，精緻包裝茶葉罐，也能撐場面!
鴻和興精密工業股份有限公司集合了製茶罐業各相關技術的專業人士，不論是在印刷上或在茶葉罐加工製造上都能夠給客戶一個專業上的技術服務與諮詢。
臭氧機的滅菌效果如何?
臭氧的性質活潑，是強力的氧化劑。臭氧的標準還原電位2.07比次氯酸1.49更高，而且臭氧不會產生致癌的三鹵甲烷類消毒副產物。臭氧不會殘留，會自動回復成氧氣是優良的消毒劑，因此臭氧像是優良的工匠，工作時很有效率，離開時也不拖泥帶水，收拾的乾乾淨淨，沒有殘留副產物。
哪裡買的到省力省空間，方便攜帶的購物推車
多功能爬梯購物推車/手推車/爬梯車/推車/購物車！
?
示波器探測執行效能最佳化的8大秘訣
示波器是一種能夠顯示電壓訊號動態波形的電子測量儀器。它能夠將時變的電壓訊號，轉換為時間域上的曲線，原來不可見的電氣訊號，就此轉換為在二維平面上直觀可見光訊號，因此能夠分析電氣訊號的時域性質。
InstructGPT已經以Beta測試的形式，在API上提供超過1年的服務，而現在官方使用InstructGPT作為預設模型，他們認為，在妥善調校的語言模型訓練循環中有人類一起參與，是改善安全性的強大方法，因此他們會繼續採行這樣的改進模式。
透過讓標記員選擇，來評估InstructGPT和GPT-3模型遵循用戶指令的表現來進行實驗，結果顯示，InstructGPT模型的輸出明顯較受青睞，而且在利用公開的資料集，來評估模型的安全性之後，OpenAI也發現InstructGPT產生的模仿錯誤更少，毒性也更小，而且經過人工評估，InstructGPT編造事實的狀況相對較少出現，也就是產生幻覺的頻率更低，更適合用於生成輸出。
但OpenAI也提醒，儘管InstructGPT已經比GPT-3模型安全不少，但在部分情況仍會產出有毒具偏見的輸出，甚至是編造事實，在沒有明確提示的情況下，產生性和暴力內容，但研究人員提到，機器學習系統的安全性，不只關乎底層的模型行為，也取決於模型部署的方式，因此OpenAI會繼續審查使用API的應用程式，並且提供內容過濾器以偵測不安全的輸出，同時監控API被濫用的情況。
由於InstructGPT是以英文說明接受訓練，所以輸出的內容，更偏向英文使用者的文化價值觀，OpenAI現在正在進行研究以了解標記員偏好間的差異和分歧，根據更具體的人群價值觀來調整模型。他們認為，要讓模型的輸出符合特定人群的價值觀有其困難度，但仍會負起責任，以具包容的流程來做出這些決定。
https://www.ithome.com.tw/news/149140
總是為了廚餘煩惱嗎？雅高環保提供最適用的廚餘機，滿足多樣需求。
(全省)堆高機租賃保養一覽表
由簡易堆高機修改而成，無需現場施工，交機即可使用！
重新改造貨櫃屋基礎設計有哪些呢
金誠貨櫃實業社能把原有貨櫃屋改裝成任何尺寸大小及多咖貨櫃合併，加裝流梯、櫃頂加蓋鐵皮屋頂、加裝鐵架等、除鏽噴漆，顏色皆依客戶指定。
空壓機這裡買最划算!
晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。
Orignal From: OpenAI改進GPT-3使其更能聽懂人類指示，並減少輸出有毒內容
沒有留言:
張貼留言