界面新聞記者 | 肖芳

界面新聞編輯 | 宋佳楠

今年十一期間，抖音、B站等平臺大量涌現(xiàn)了“雷軍AI配音” 的惡搞視頻，給雷軍本人和小米帶來了很大困擾。

在這些惡搞視頻中，“雷軍”銳評了堵車、假期等熱門話題，還有一些不雅謾罵。一些惡搞短視頻的播放量幾天之內(nèi)就達到上億。對此，雷軍本人在10月底發(fā)布短視頻回應(yīng)稱，希望大家都不要再玩了，“有網(wǎng)友投訴說國慶期間被我連續(xù)罵了7天，的確讓我自己也挺困擾，讓我挺不舒服的，這個事不太好。”

談及上述事件，Gartner研究副總裁高挺告訴界面新聞，虛假信息本質(zhì)上還是偽造的信息，但它的危害在大模型時代被放大了。

在一位信息安全從業(yè)者看來，“雷軍AI配音” 的惡搞視頻變多，主要是外站一家AI公司在宣傳其聲音克隆功能。這類玩梗，公眾知道是AI模仿，傳播虛假信息的風(fēng)險不大。平臺在治理中的難點是，因為無法判斷名人、明星對于這種網(wǎng)友玩梗是反對，還是出于營銷目的樂見其成，在當(dāng)事人明確提出贊同或反對的意見前，平臺難以制定治理策略。

相比之下，新聞類的AI謠言往往帶來的社會危害性更大。界面新聞搜索發(fā)現(xiàn)，類似的事件今年也多次發(fā)生。

近期，一篇題為《山東大媽擺攤賣水果被罰16萬，監(jiān)管局回應(yīng)不交罰145萬，法院判了》的文章在微信公眾號等平臺流傳非常廣，也引發(fā)了很多網(wǎng)友的爭論。但經(jīng)有關(guān)部門核實，這篇文章系長沙一家MCN公司為了增加公眾號的閱讀量與公司收益，利用AI生成的內(nèi)容來博眼球。在此之前，多個短視頻平臺還出現(xiàn)過利用AI編造“地震”“運鈔車搶劫”等新聞，這些內(nèi)容給不明真相的網(wǎng)友帶來了一定程度的恐慌。

對于生成式AI帶來的虛假新聞，各個內(nèi)容類平臺都明確表示會進行打擊。抖音安全中心相關(guān)負責(zé)人稱，對于虛假信息，無論是否由AI生成，一經(jīng)發(fā)現(xiàn)平臺均會嚴厲處置。同時，對于AI生成內(nèi)容，在符合社區(qū)內(nèi)容規(guī)則的前提下，抖音要求發(fā)布者對內(nèi)容進行顯著標識，幫助其他用戶區(qū)分虛擬與現(xiàn)實，特別是易混淆場景。

但據(jù)界面新聞了解，治理AI生成虛假新聞的難點在于面臨很高的核驗成本，平臺很難完全以一己之力判斷信息的真實性，很多情況下需要監(jiān)管部門介入，但相關(guān)信息在核驗過程中已經(jīng)進行了快速傳播。

虛假信息給企業(yè)聲譽以及社會正常生活秩序造成負面影響之外，還帶來了諸如“網(wǎng)絡(luò)釣魚”，或者“賬戶接管”等企業(yè)網(wǎng)絡(luò)安全的影響。此前，行業(yè)中曾經(jīng)發(fā)生過詐騙分子通過AI技術(shù)仿造一家能源公司CEO聲音，詐騙該公司高管上百萬元錢財的事。AI生成的音色、音調(diào)和口音都非常逼真，導(dǎo)致這名高管根本沒意識到是詐騙。

高挺表示，生成式AI導(dǎo)致了更高破壞性、更逼真的攻擊，這些攻擊更難被人類識別以及被傳統(tǒng)技術(shù)阻止，會對企業(yè)造成更大的損失。

虛假信息生產(chǎn)成本越來越低，但負面影響卻越來越顯性，只通過傳統(tǒng)的人工核驗手段已經(jīng)很難完全解決問題。上述技術(shù)安全專家表示，我們需要有更多新興的技術(shù)去解決虛假信息治理的問題。有些人利用技術(shù)手段來制造虛假信息，技術(shù)安全專家就應(yīng)該能夠識別這些虛假信息的特征，通過技術(shù)手段與之對抗，真正從源頭解決問題。

在信息安全領(lǐng)域，很多技術(shù)專家已經(jīng)對虛假信息治理有了一些初步共識，并把“虛假信息安全”作為一個新的技術(shù)研究方向。

具體來講，“虛假信息安全”包含了在信息傳播中能夠確保完整性、評估真實性以及防止冒充和追蹤有害信息傳播的一系列技術(shù)。背后的原理是，通過大語言模型來跟蹤社交媒體上的內(nèi)容，驗證實時通信的完整性，確保第三方媒體的真實性等。

Gartner在其預(yù)測的2025年十大戰(zhàn)略技術(shù)趨勢中，把“虛假信息安全”列為重要的技術(shù)趨勢之一。該機構(gòu)認為，未來1到3年，“虛假信息安全”技術(shù)將會產(chǎn)生明顯的商業(yè)收益。

從研究實踐來看，一些技術(shù)被證明是有效的。加利福尼亞大學(xué)的一項研究表明，通過上下文標簽向用戶提供背景介紹、針對錯誤的解釋以及相關(guān)權(quán)威內(nèi)容等細節(jié)信息，可以有助于減少虛假內(nèi)容擴散。而Facebook、X等海外內(nèi)容類平臺正通過人工智能等技術(shù)手段，訓(xùn)練系統(tǒng)自動對海量信息進行檢測和標記，以克服人工核查的局限性。這些研究和實踐，對國內(nèi)的內(nèi)容類平臺也有較強的借鑒意義。

而針對通過生成式AI帶來的釣魚詐騙等問題，企業(yè)和組織可以通過一套完整的技術(shù)解決方案來應(yīng)對。界面新聞了解到，360、螞蟻金服等多家國內(nèi)互聯(lián)網(wǎng)公司已經(jīng)在基于大模型研發(fā)解決方案，試圖通過數(shù)據(jù)接入及解析、分析研判與溯源調(diào)查等手段識別出更多風(fēng)險。