AI讓造謠更簡單謠言更“科學”？記者調查AI謠言亂象

來源：法治日報

記者 張守坤

“有圖有真相，這都是專家認證過的。”

近日，天津市民李萌（化名）與母親就一篇“科普文章”發生了激烈的爭吵：母親堅信文章中有視頻、有圖，還有各種所謂博士、醫療團隊得出的研究結論，不可能是假的；李萌仔細辨別文章發現，文章爲AI生成，平臺也進行了闢謠，肯定是假的。

這篇文章的內容與貓有關——有一名女生抱着貓玩，得了一種絕症叫“毛病”，後期整個人變得面目全非。也正是因爲這篇文章，李萌母親堅決反對她養貓，因爲害怕她也患上“毛病”。李萌對此哭笑不得，“真希望我媽能少上點網”。

被AI謠言坑騙的遠不止李萌母親。近期，多地公安機關發佈了多起利用AI工具實施造謠的相關案件，如發佈“西安突發爆炸”虛假新聞的賬號所屬機構，最高峰一天能生成4000至7000篇假新聞，每天收入在1萬元以上，而公司實際控制人王某某經營着5家這樣的機構，運營賬號達842個。

接受《法治日報》記者採訪的專家指出，便利的AI工具大幅降低了造謠的製造成本，提升了謠言的數量級和傳播力。AI造謠呈現出門檻低、批量化、識別難等特點，亟待加強監管，斬斷背後利益鏈條。

用AI編造不實消息

傳播迅速多人受騙

6月20日，上海警方發佈通報，兩名品牌營銷人員爲蹭熱度，編造了“中山公園地鐵站捅人”等不實信息，相關人員已被警方行政拘留。通報中，有個細節引人注意：一名造假者使用AI軟件生成視頻技術，編造了地鐵行兇的虛假視頻等不實信息。

記者梳理髮現，近年來，利用AI造謠現象頻發，且傳播速度極快，一些謠言造成不小的社會恐慌和危害。

去年，在上海一女童走失事件中，一團夥以“標題黨”“震驚體”方式，惡意編造炒作“女孩父親系繼父”“女孩被帶往溫州”等謠言。該團伙利用AI工具等生成謠言內容，通過114個賬號矩陣，在6天內發佈268篇文章，多篇文章點擊量超過100萬次。

公安部網安局近期公佈一起案例。2023年12月以來，一條“西安市鄠邑區地下涌出熱水”的信息頻繁在網絡上傳播，出現如“地下出熱水是因爲發生了地震”“是因爲地下熱管道破裂”等謠言。經查，相關謠言是通過AI洗稿方式生成的。

近日，“濟南一高層住宅樓起火，多人跳樓逃生”“晨練大爺在濟南英雄山附近發現墳中活人”……這些離譜的“重磅消息”在網上廣泛傳播，引起大量關注。濟南市委網信辦第一時間通過濟南互聯網聯合闢謠平臺進行闢謠，但還是有不少人被“有圖有真相”的表象迷惑。

清華大學新聞與傳播學院新媒體研究中心今年4月發佈的一份研究報告顯示，近兩年的AI謠言中，經濟與企業類謠言佔比最高，達43.71%；近一年來，經濟與企業類AI謠言量增速高達99.91%，其中餐飲外賣、快遞配送等行業更是AI謠言重災區。

那麼，利用AI製造一篇假新聞究竟有多簡單？

記者用市面上流行的多款人工智能軟件測試發現，只要給出關鍵詞，就能在幾秒鐘內立刻生成一篇“新聞報道”，包括事情詳細經過、評論觀點、後續做法等，只要加上時間地點，再配上圖片和背景音樂，一篇以假亂真的新聞報道便製作完成。

記者發現，很多AI生成的謠言中，都夾雜着“據報道”“相關部門正對事故原因進行深入調查，並採取措施進行搶修”“提醒廣大市民在日常生活中要注意安全”等內容，在網上發佈後人們往往難辨真僞。

除了AI新聞，科普文章，圖片、配音視頻、換臉後模仿聲音，這些都可以利用AI產生，在人工進行微調並融入一些真實的內容後，它們就會變得難以辨別。

中國人民大學新聞與社會發展中心研究員曾持說，“生成式AI”的拼接本質和謠言有很強的親近性，二者都屬於“無中生有”——創造看起來真實合理的信息。AI讓造謠更加簡單和“科學”了，AI根據熱點事件總結規律、拼接情節，很快就能製作出符合人們“期待”的謠言，傳播更加迅速。

“網絡平臺可以用AI技術反向對圖像和視頻的拼接進行檢測，但很難對內容進行審查。當下人們並沒有能力完全攔截謠言，更何況有許多未經證實或無法證實、模棱兩可的信息。”曾持說。

爲獲流量牟利造假

涉嫌構成多種罪名

有些AI軟件的“造謠效率”非常驚人。比如，出現了“一天能生成19萬篇文章”的造假軟件。

據查獲該軟件的西安警方介紹，警方提取了該軟件7天保存的文章，發現總量超過100萬篇，涉及時事新聞、社會熱點、社會生活等各方面。賬號的使用者有組織地將這些“新聞”發佈到相關平臺，再利用平臺的流量獎勵制度等獲利。目前，該案涉及的賬號已被平臺查封，有關軟件和服務器也被關閉，警方還在對案件進行深挖。

在多起AI造謠事件背後，造謠者的動機主要源於引流和藉此牟利。

“用AI批量生產爆款文案，突然你就變有錢了”“讓AI幫我寫推廣文，1分鐘搞定3篇”“圖文創作，AI自動寫文章，單號輕鬆日產500+，可多號操作，小白輕鬆上手”……記者檢索發現，很多社交平臺上都有類似“致富”文章流傳，評論區還有不少博主在推送。

今年2月，上海公安機關發現，在一家電商平臺上出現了某藝人“命運多舛、含恨離世”等短視頻，引發大量點贊和轉發。

經查，該視頻內容系僞造。視頻發佈者到案後交代，他在某電商平臺上經營一家土特產網店。由於銷量不佳，他便通過編造奪人眼球的虛假新聞給網店賬號吸引流量。他不會視頻剪輯，便利用AI技術生成文本和視頻。

北京瀛和律師事務所合夥人張強告訴記者，利用AI編造網絡謠言，尤其是編造、故意傳播虛假的險情、疫情、災情、警情，可能涉嫌刑法編造、故意傳播虛假信息罪。如果影響到個人或企業的名譽，可能涉嫌刑法誹謗罪和損害商業信譽、商業名譽罪。如果影響到股票證券、期貨交易，擾亂交易市場，可能涉嫌刑法編造並傳播證券、期貨交易虛假信息罪。

持續完善闢謠機制

明確標註合成內容

爲治理AI造假亂象，深化網絡生態治理，近年來相關部門和平臺出臺多項政策和措施。

早在2022年，中央網信辦等就發佈了《互聯網信息服務深度合成管理規定》，規定任何組織和個人不得利用深度合成服務製作、複製、發佈、傳播法律、行政法規禁止的信息，不得利用深度合成服務從事危害國家安全和利益、損害國家形象、侵害社會公共利益、擾亂經濟和社會秩序、侵犯他人合法權益等法律、行政法規禁止的活動。深度合成服務提供者和使用者不得利用深度合成服務製作、複製、發佈、傳播虛假新聞信息。

今年4月，中央網信辦秘書局發佈《關於開展“清朗·整治‘自媒體’無底線博流量”專項行動的通知》，要求加強信息來源標註展示。使用AI等技術生成信息的，必須明確標註系技術生成。發佈含有虛構、演繹等內容的，必須明確加註虛構標籤。

針對疑似使用AI技術的內容，一些平臺會在下方貼上“內容疑似AI生成，請謹慎甄別”的提示，並對包含虛構、演繹等環節的內容，明確加註虛構標籤，對違規賬號採取“封號”等舉措。部分大模型開發者也表示，會通過後臺設置的方式，對通過大模型生成的內容打上水印，告知用戶。

在張強看來，人們對於生成式AI還沒有足夠的瞭解，也缺乏應對經驗。在這種情況下，通過媒體提醒人們注意甄別AI信息，是非常必要的。同時需要在執法層面加大響應力度，對於通過AI造謠、詐騙等行爲及時予以查糾。

中國傳媒大學文化產業管理學院法律系主任鄭寧認爲，應進一步完善現有的闢謠機制，一旦某一條信息被甄別爲謠言，要立刻進行標註，並且向瀏覽過該謠言的用戶再次推送，進行闢謠提示，以免該謠言進一步傳播，造成更大的傷害。

值得注意的是，有些人主觀上可能並無造謠意識，只是將AI合成內容發佈在網絡上，結果被大量轉發，讓不少人相信，從而產生危害。

對此，曾持認爲，一個最簡單的防範方式就是通過有關部門或平臺制定規定，必須在所有AI合成內容中都標明“此圖片/視頻爲AI合成”。