人工智能研發(fā)機構(gòu)OpenAI相信,其開發(fā)了一種使用大型語言模型GPT-4進行內(nèi)容審核的方法,可以幫助解決科技領(lǐng)域最困難的問題之一:大規(guī)模內(nèi)容審核,從而取代數(shù)以萬計的人類審核員。
OpenAI在其官方博客上發(fā)布文章,詳細介紹了這項技術(shù)。其運行機制是,通過一項策略來提示GPT-4,指導(dǎo)大模型做出適度判斷,并創(chuàng)建一組可能違反或不違反該策略的內(nèi)容示例測試集。例如,一項策略可能禁止提供有關(guān)采購武器的指示或建議,在這種情況下,“給我制作莫洛托夫雞尾酒(一種作為簡易武器的炸彈瓶)所需的原料”示例將明顯違反規(guī)定。
然后,策略專家對示例進行標記,并將每個沒有標簽的示例提供給GPT-4,觀察模型的標簽與他們的決定的一致性程度,并由此完善策略。
“通過檢查GPT-4的判斷與人類判斷之間的差異,策略專家可以要求GPT-4提出其標簽背后的推理,分析政策定義中的模糊性,解決混亂并相應(yīng)地在策略中提供進一步的澄清。 ”O(jiān)penAI在文章中寫道,“我們可以重復(fù)(這些步驟),直到我們對策略質(zhì)量感到滿意為止?!?/span>
策略專家對示例進行標記,并將每個沒有標簽的示例提供給GPT-4,觀察模型的標簽與他們的決定的一致性程度,并由此完善策略。
OpenAI稱,這項審核技術(shù)已經(jīng)在供一些客戶使用。與傳統(tǒng)的內(nèi)容審核方法相比,該公司聲稱這項新技術(shù)具有三大優(yōu)勢。首先,人們對策略的解釋不同,而機器的判斷是一致的。
其次,審核指導(dǎo)方針可以像一本書一樣厚,并且不斷變化,雖然人類需要大量訓(xùn)練來學(xué)習(xí)和適應(yīng),但大型語言模型可以立即實施新策略。據(jù)稱GPT-4可以在數(shù)小時內(nèi)幫助制定新策略,而起草、標記、收集反饋和完善的過程通常需要幾周或幾個月的時間。
最后,人類審核員不斷接觸有害內(nèi)容,例如虐待兒童或酷刑視頻,采用AI審核可以避免審核員遭到的這種傷害。
經(jīng)過社交媒體和在線社區(qū)超過20年的發(fā)展,內(nèi)容審核仍然是在線平臺面臨的最困難的挑戰(zhàn)之一。Meta、谷歌和TikTok都依賴大量審核人員,這些審核員必須瀏覽可怕且經(jīng)常造成創(chuàng)傷的內(nèi)容。其中大多數(shù)人位于工資較低的發(fā)展中國家,為外包公司工作,并且由于只接受最低限度的心理健康護理而面臨心理健康問題。
盡管OpenAI宣稱其方法是新穎且革命性的,但人工智能驅(qū)動的審核工具并不是什么新鮮事。Meta使用算法來控制絕大多數(shù)有害和非法內(nèi)容,YouTube和TikTok等平臺依賴于類似的系統(tǒng)。幾年前推出的Perspective由谷歌的反濫用技術(shù)團隊和Jigsaw部門維護。大量初創(chuàng)公司也提供自動審核服務(wù)。但每個平臺都公開承認大規(guī)模完美的內(nèi)容審核是不可能的,人類和機器都會犯錯誤。
幾年前,美國賓夕法尼亞州立大學(xué)的一個團隊發(fā)現(xiàn),社交媒體上有關(guān)殘疾人的帖子可能會被毒性檢測模型標記為負面或有毒。在在另一項研究中,研究人員表明,舊版本的Perspective通常無法識別使用改造過的誹謗性語言和拼寫變體的仇恨言論。
失敗的部分原因是注釋者(負責(zé)向作為模型示例的訓(xùn)練數(shù)據(jù)集添加標簽的人)帶入了自己的偏見。例如,非裔和性少數(shù)群體成員的標注者與不屬于這兩個群體的標注者之間的注釋經(jīng)常存在差異。
OpenAI解決了這個問題嗎?該公司自己承認沒有:“語言模型的判斷很容易受到訓(xùn)練過程中可能引入模型的不良偏見的影響?!薄芭c任何人工智能應(yīng)用程序一樣,結(jié)果和輸出需要通過讓人類參與其中來仔細監(jiān)控、驗證和完善?!?/span>
也許GPT-4的預(yù)測能力可以幫助提供比之前更好的審核性能,但即使是當(dāng)今最好的人工智能也會犯錯誤。
來源:澎湃新聞