“華山醫(yī)院前院長(zhǎng)張明遠(yuǎn)，因闌尾炎未得到及時(shí)救治，客死他鄉(xiāng)醫(yī)院走廊長(zhǎng)椅。”

“悼念！當(dāng)‘醫(yī)療泰斗’倒在異國(guó)急診室，我才讀懂中國(guó)醫(yī)生的‘生死時(shí)速’！” ……

今年3月初，一則關(guān)于“華山醫(yī)院前院長(zhǎng)”因病客死他鄉(xiāng)的消息在互聯(lián)網(wǎng)廣泛傳播，也引起了眾多網(wǎng)友的關(guān)注。然而經(jīng)警方核查卻發(fā)現(xiàn)，華山醫(yī)院壓根就沒(méi)有名為“張明遠(yuǎn)”的前院長(zhǎng)，也沒(méi)有同名員工。 那么，這則流傳甚廣的假消息，是從何而來(lái)的呢？

經(jīng)上海公安網(wǎng)安部門(mén)迅速調(diào)查，最終成功偵破這起利用AI造謠案，將犯罪嫌疑人王某某、郭某某、石某某抓獲歸案。而令人吃驚的是，犯罪嫌疑人在發(fā)布該假消息前，甚至都不知道有華山醫(yī)院這家醫(yī)院，更不知道所謂的“張明遠(yuǎn)”這個(gè)人。

控制500余個(gè)賬號(hào)發(fā)布不實(shí)帖文30余萬(wàn)條

據(jù)犯罪嫌疑人王某某交代，他之前從事電商工作，由于沒(méi)有貨源，主要給別人做代理。近兩年，王某某想轉(zhuǎn)換“賽道”，自認(rèn)為自媒體準(zhǔn)入門(mén)檻較低，軟件和工具在網(wǎng)上就有，方法也有人教，只需要花時(shí)間運(yùn)營(yíng)，就能賺錢(qián)，成本很低。于是，王某某、郭某某、石某某等3人共同成立了工作室，開(kāi)始通過(guò)自媒體賬號(hào)發(fā)文吸粉引流牟利。

公安機(jī)關(guān)查實(shí)，王某某、郭某某、石某某等3人，通過(guò)控制500余個(gè)自媒體賬號(hào)，設(shè)置社會(huì)熱點(diǎn)、明星緋聞、爆款推薦等關(guān)鍵詞策略，利用AI工具自動(dòng)生成并發(fā)布不實(shí)帖文30余萬(wàn)條，造成惡劣社會(huì)影響。

據(jù)了解，王某某等人運(yùn)營(yíng)的是短資訊類(lèi)消息自媒體，內(nèi)容一般限定在體育、娛樂(lè)、職場(chǎng)、養(yǎng)老等領(lǐng)域。三人有4個(gè)“大號(hào)”，還有 500多個(gè)“小號(hào)”。每天發(fā)布1萬(wàn)條帖文，內(nèi)容五花八門(mén)，基本都是AI憑空捏造，有的幾萬(wàn)次閱讀量，最高的一條能有十幾萬(wàn)次。幾乎每發(fā)條信息，就有上萬(wàn)人次網(wǎng)民被虛假信息蒙騙。

被查處后，王某某感到非常后悔。他表示，獲取流量應(yīng)該有底線(xiàn)，不應(yīng)該胡編亂造或者夸大其詞，不應(yīng)該編造發(fā)布虛假信息。并表示，“做這個(gè)事沒(méi)有掙到什么錢(qián)，但卻要被法律嚴(yán)懲”。

目前，因涉嫌非法利用信息網(wǎng)絡(luò)罪，犯罪嫌疑人王某某、郭某某、石某某等3人已被上海靜安警方依法采取刑事強(qiáng)制措施，相關(guān)違法賬號(hào)被依法封禁，案件正在進(jìn)一步偵辦中。

從網(wǎng)上采集“閱讀top”內(nèi)容后用AI批量改寫(xiě)

“這是常見(jiàn)‘流量經(jīng)濟(jì)’劣化的表現(xiàn)形式。”上海網(wǎng)安總隊(duì)三隊(duì)隊(duì)長(zhǎng)符斌表示，正常賬號(hào)吸粉、漲粉，都需要時(shí)間精力的投入，犯罪嫌疑人王某某、郭某某、石某某等3人為“走捷徑”，通過(guò)AI工具編造大量不實(shí)、虛假信息，幻想快速“養(yǎng)號(hào)”漲粉，以便后續(xù)直播帶貨等牟利。

利用AI工具造謠，是對(duì)網(wǎng)絡(luò)環(huán)境的一種劣化。為用AI工具批量生產(chǎn)虛假信息，王某某等3人找到了一個(gè)網(wǎng)絡(luò)平臺(tái)上的App作為素材庫(kù)，按照不同領(lǐng)域、“閱讀量top”、發(fā)布時(shí)間等，批量采集爆款內(nèi)容。隨后用AI工具批量改寫(xiě)，進(jìn)行發(fā)布。而“張明遠(yuǎn)”的“故事”就是這樣生成的。

據(jù)了解，為引起粉絲關(guān)注，王某某等3人會(huì)采集“閱讀top”內(nèi)容，因?yàn)檫@些內(nèi)容本身就是爆款。在用AI批量改寫(xiě)時(shí)，他們會(huì)給AI工具輸入一些提示詞，比如“以原文實(shí)際情況為基礎(chǔ)，中心思想不變”，比如“第一句話(huà)要吸引人”等，以此來(lái)吸引更多點(diǎn)擊量。此外，他們還會(huì)利用AI工具的聯(lián)網(wǎng)版，讓它聯(lián)網(wǎng)搜索相關(guān)信息后，再進(jìn)行整合。

王某某表示，之前因用AI工具編造發(fā)布某過(guò)世女明星孩子撫養(yǎng)權(quán)問(wèn)題，而被平臺(tái)扣分處理過(guò)。但為了貪圖利益，抱有僥幸心理。 王某某等人采集的都是短資訊內(nèi)容，每篇約200至300字，幾乎不審核就直接發(fā)布。在利用AI工具對(duì)“張明遠(yuǎn)”的“故事”進(jìn)行捏造時(shí)，給出了“提高閱讀量”的附加條件，妄圖加入“流量密碼”。王某某等人表示，不僅自己沒(méi)看過(guò)這條“張明遠(yuǎn)”發(fā)文的具體內(nèi)容，甚至都不知道上海有家華山醫(yī)院，更不知道“張明遠(yuǎn)”是誰(shuí)。

應(yīng)對(duì)AI謠言新挑戰(zhàn)需構(gòu)建智能識(shí)別機(jī)制

中國(guó)政法大學(xué)數(shù)據(jù)法治研究院教授、中國(guó)法學(xué)會(huì)網(wǎng)絡(luò)與信息法學(xué)研究會(huì)副會(huì)長(zhǎng)王立梅表示，當(dāng)前AI謠言呈現(xiàn)出識(shí)別難度高、傳播控制難、誤導(dǎo)效應(yīng)強(qiáng)、信任風(fēng)險(xiǎn)大等特點(diǎn)。面對(duì)技術(shù)迭代速度快、傳統(tǒng)辟謠機(jī)制難以及時(shí)應(yīng)對(duì)的挑戰(zhàn)，需要構(gòu)建快速響應(yīng)、多方協(xié)同、機(jī)制迭代、公眾參與的治理模型。同時(shí)完善法規(guī)與技術(shù)標(biāo)準(zhǔn)，細(xì)化虛假有害信息的判定標(biāo)準(zhǔn)，強(qiáng)化行刑銜接與跨地區(qū)協(xié)作，提高編造虛假信息行為的量刑幅度，探索涉AI謠言的公益訴訟制度。

北京師范大學(xué)法學(xué)院博士生導(dǎo)師、中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)研究中心副主任吳沈括表示，AI謠言具有高度逼真性，算法模型難以精準(zhǔn)識(shí)別，易出現(xiàn)誤判或漏判現(xiàn)象，給網(wǎng)絡(luò)謠言的系統(tǒng)化治理帶來(lái)嚴(yán)峻挑戰(zhàn)。他建議，平臺(tái)應(yīng)加強(qiáng)技術(shù)防控能力建設(shè)，構(gòu)建高效的內(nèi)容識(shí)別與過(guò)濾機(jī)制，運(yùn)用人工智能等先進(jìn)技術(shù)手段對(duì)虛假信息進(jìn)行主動(dòng)監(jiān)測(cè)與攔截。此外，平臺(tái)還應(yīng)嚴(yán)格落實(shí)內(nèi)容審核責(zé)任，推動(dòng)AI生成內(nèi)容的顯著標(biāo)識(shí)制度，確保用戶(hù)知情權(quán)。

“如今，AI謠言已經(jīng)能夠定制化生成、精準(zhǔn)化傳播和智能化擴(kuò)散，這給警方的打擊治理帶來(lái)了新的挑戰(zhàn)。”上海公安網(wǎng)安部門(mén)相關(guān)負(fù)責(zé)人表示，公安機(jī)關(guān)對(duì)網(wǎng)絡(luò)謠言的發(fā)現(xiàn)和查處手段也在升級(jí)優(yōu)化，以應(yīng)對(duì)AI造謠的新挑戰(zhàn)。目前，公安機(jī)關(guān)與頭部平臺(tái)建立了暢通的工作聯(lián)動(dòng)機(jī)制，不斷加強(qiáng)對(duì)AI造謠行為的智能識(shí)別機(jī)制研究，并進(jìn)一步優(yōu)化涉及AI內(nèi)容的流量分發(fā)和收益分成機(jī)制，壓縮別有用心者批量生產(chǎn)謠言的牟利空間。

“今年以來(lái)，上海公安機(jī)關(guān)全力開(kāi)展打擊整治網(wǎng)絡(luò)謠言專(zhuān)項(xiàng)工作，截至目前，已破獲造謠引流網(wǎng)絡(luò)水軍案件15起，抓獲違法犯罪嫌疑人38名。累計(jì)偵破涉企網(wǎng)絡(luò)謠言等違法犯罪案件百余起，為1.5萬(wàn)多家企業(yè)提供了網(wǎng)絡(luò)安全服務(wù)保障。下一步，公安機(jī)關(guān)將持續(xù)依法嚴(yán)厲打擊網(wǎng)絡(luò)謠言，加強(qiáng)網(wǎng)絡(luò)生態(tài)治理，全力營(yíng)造清朗有序的網(wǎng)絡(luò)環(huán)境。”上海公安網(wǎng)安部門(mén)相關(guān)負(fù)責(zé)人介紹說(shuō)。

來(lái)源：公安部網(wǎng)安局微信號(hào)