來源標題：標識，讓AI生產的內容“亮明身份”

【經濟界面】

夜深人靜時，有人找它線上聊天、獲取慰藉;視頻帶貨時，有人用它快速生成營銷文案;同學聚會時，有人用它現場作詩助興……它，就是很多人眼中的“生活好幫手”“工作好搭子”——人工智能(AI)大模型。

近期，多款大模型產品橫空出世、風靡全球，再次掀起人工智能熱潮。但與此同時，也有一些人利用人工智能生成合成虛假內容，或為吸引眼球、賺取流量，或試圖以假亂真、造謠詐騙等，帶來一定風險和隱患，引發社會關注。

近日，國家互聯網信息辦公室、工業和信息化部、公安部、國家廣播電視總局聯合發布《人工智能生成合成內容標識辦法》(以下簡稱《辦法》)。《辦法》聚焦人工智能“生成合成內容標識”關鍵點，通過標識提醒用戶辨別虛假信息，明確相關服務主體的標識責任義務，規范內容制作、傳播各環節標識行為，將于2025年9月1日起施行。

如何讓人工智能生成合成內容“亮明身份”，不再“真假難辨”?如何破解人工智能安全治理難題?記者就此進行了采訪。

人工智能合成讓人真假難辨

小貓小狗隨著音樂跳起舞蹈，家中“萌娃”大戰公雞……在短視頻平臺上，人們不時會刷到類似視頻。其實，一些傳播量、點贊量都很大的“神奇視頻”并非是真實的，而是由人工智能生成合成的。

所謂人工智能生成合成內容，是指利用人工智能技術生成、合成的文本、圖片、音頻、視頻、虛擬場景等信息。

近年來，人工智能技術快速發展，為生成合成文字、圖片、音頻、視頻等信息提供了便利工具，海量信息得以快速生成合成并在網絡平臺傳播，在促進經濟發展、豐富網上內容、便利公眾生活的同時，也帶來生成合成技術濫用、破壞網絡生態等問題，引發社會各界的關注。

“一些喜歡我參演的影視劇的觀眾，被AI換臉視頻騙得很慘，這個性質非常惡劣。”一位演員說，希望能建立更好的規范。實際上，不少公眾人物都遭遇過類似問題。

公安部數據顯示，近兩年來，全國共發生“AI換臉”類詐騙案近百起，累計造成的經濟損失高達2億元。

“人工智能生成合成內容日益逼真，也催生虛假消息傳播、身份信息冒充、惡意內容生成等新型安全風險，并削弱著公眾對網絡傳播內容的信任根基。”中國工程院院士、浙江大學教授陳純說。

中國電子信息產業發展研究院副總工程師劉權認為，人工智能大模型本身存在不可解釋性問題。大模型運作機制不透明，產生的“黑箱”屬性導致不可解釋性。這種不可解釋性降低了可信度，使得輸出的內容可能存在事實性錯誤和偏差，特別是在醫療、金融等領域，難以滿足嚴苛的可信要求。

中國社會科學院大學互聯網法治研究中心主任劉曉春表示，通過人工智能生成合成技術降低了內容“偽造”“造假”等的時間成本，尤其在圖片、音頻、視頻等領域，從早期引起廣泛關注的“換臉”工具，到偽造人聲、通話視頻的詐騙活動，再到“被壓在廢墟下的小男孩”等熱點事件，人工智能技術帶來的深度偽造、虛假信息、不良信息、抄襲侵權等問題，對包括內容治理在內的網絡空間秩序構成挑戰，對治理工具、方式和手段也提出了更新更高的要求。

數據顯示，截至2024年底，共302款生成式人工智能服務在國家網信辦完成備案，其中當年新增238款備案。

“當前，大模型能夠生成高真實感的文本、人像、場景、音頻，普通民眾不借助檢測工具往往很難辨別內容真偽。”中國科學院計算技術研究所數字內容合成與偽造檢測實驗室主任、研究員曹娟認為，隨著生成式人工智能技術在各個行業落地應用，生成合成內容的數據規模快速增長，對生成內容進行全面檢測成本太高。生成合成內容適用場景大幅擴展，助長了欺騙場景多樣化。

打造可信賴的AI技術

《辦法》的推出是我國推進人工智能領域安全治理、促進產業規范健康發展、引導技術向善的重要舉措，標志著我國在生成式人工智能領域邁出了構建安全可信生態的關鍵一步。

國家互聯網信息辦公室有關負責人介紹，《辦法》重點解決“哪些是生成的”“誰生成的”“從哪里生成的”等問題，推動由生成到傳播各環節的全流程安全管理，力爭打造可信賴的人工智能技術。

針對服務提供者，《辦法》明確，應當對文本、音頻、圖片、視頻、虛擬場景等生成合成內容添加顯式標識，在提供生成合成內容下載、復制、導出等功能時，應當確保文件中含有滿足要求的顯式標識;應當在生成合成內容的文件元數據中添加隱式標識。

針對互聯網應用程序分發平臺，《辦法》提出在應用程序上架或者上線審核時，應當要求互聯網應用程序服務提供者說明是否提供人工智能生成合成服務，并核驗其生成合成內容標識相關材料。

針對用戶，《辦法》提出，用戶使用網絡信息內容傳播服務發布生成合成內容的，應當主動聲明并使用服務提供者提供的標識功能進行標識。

此外，任何組織和個人不得惡意刪除、篡改、偽造、隱匿本辦法規定的生成合成內容標識，不得為他人實施上述惡意行為提供工具或者服務，不得通過不正當標識手段損害他人合法權益。

“《辦法》以合理成本提高安全性，促進人工智能在文本對話、內容制作、輔助設計等各應用場景加快落地，同時減輕人工智能生成合成技術濫用危害，防范利用人工智能技術制作傳播虛假信息等風險行為，推動人工智能健康有序發展。”該負責人說。

中國政法大學數據法治研究院教授張凌寒認為，人工智能生成內容標識制度具備獨特制度價值。標識能夠有效區分出人工智能生成合成的信息，防范虛假信息的傳播利用;標識能夠幫助用戶快速了解生成式人工智能產品和服務的相關屬性或參數信息;標識能夠協助監管部門對生成式人工智能產品或服務實施評估、追溯等監管，推進人工智能生成合成內容合法合規發展。

張凌寒表示，目前，人工智能生成合成內容標識制度主要關注“是否機器生成”的形式判斷。隨著標識技術的進步與發展，未來標識制度能夠發揮更為豐富的功能，從形式判斷逐漸轉向“是否足夠可靠”的質量判斷，進一步促進行業健康發展。

安全治理進入“深水區”

良法善治，重在實施。

為推動《辦法》落地實施，強制性國家標準《網絡安全技術　人工智能生成合成內容標識方法》同步發布，更好地指導相關主體規范開展標識活動。

“當前，人工智能安全治理已從危害探討進入實際執法的深水區。”曹娟說，大模型生成技術迭代更新很快，平均兩個月就會出現新的里程碑模型，提升針對新生偽造方法的泛化能力至關重要，需要摒棄“來一個打一槍”的事后思維，構建AI鑒偽底座模型，提高鑒偽模型的泛化適用性能。

曹娟表示，要研究精準化對抗鑒偽技術，防范惡意逃避風險。同時，降低對無害生成內容傳播的影響，兼顧生成內容應用的發展與治理，打造全民化偽造檢測工具，推動人人可用鑒偽。

“可以預見，我國人工智能安全執法將延續重點事項監管、促進產業有序發展的方向。”公安部第三研究所副所長金波說，伴隨標識管理與算法備案、安全評估等機制逐步實現有機銜接，生成合成內容標識合規或將成為相關部門開展人工智能監督檢查、專項行動的重點關注領域。在此進程中，如何平衡好發展與安全、創新與責任，提升執法的專業化、精細化、智慧化水平，從而培育出安全、開放、公平的人工智能產業生態環境，還需要深入探究。

“此外，‘人的因素’應融入人工智能標識管理的全過程。”金波表示，要著重提升公眾對信息內容真實性、來源可追溯性的評估能力，積極培育公眾的人工智能素養，確保人工智能技術成果普惠共享。

在陳純看來，《辦法》的落地離不開全社會凝心聚力和協同配合。地方主管部門、高校、科研機構、企業可共同參與，形成標識工作先行的多點協同內容治理網絡，推動標識工作行穩致遠。此外，有必要建立全國性的內容標識公共服務平臺，以可視可交互的實際操練形式，促進公眾和產業深入理解標識工作。

“生成式人工智能促使信息技術從普通工具屬性向‘思維伙伴’型高智能化工具屬性進化，帶來顛覆性發展機遇，未來勢必成為我們的必備技能，這要求我們在使用時切實正確理解并管理人工智能。”陳純說。( 劉坤 柳素雯)