隨著生成式AI的爆發，社交媒體上的內容越來越真假難辨，人們很難確信某張照片或視頻是真實存在的瞬間，以往的一句“眼見為實”在當下已經需要打上問號。

為應對這一沖擊，9月14日，國家互聯網信息辦公室發布《人工智能生成合成內容標識辦法（征求意見稿）》（下文簡稱《意見稿》），在《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》等法律法規上，進一步細化了AI合成內容的標識辦法。

“這是全球范圍內第一部關于人工智能生成合成內容標識的國家標準，是關于人工智能內容治理機制建設的重要探索，對人工智能內容產業的有序發展和業務規則具有重要的指引意義，也有助于人工智能良性生態的培育。”北京師范大學法學院副教授、中國互聯網協會研究中心副主任吳沈括對第一財經表示。

細化內容生成標識

此次的《意見稿》提出，人工智能生成合成內容標識包括顯式標識和隱式標識。顯式標識是指在生成合成內容或者交互場景界面中添加的，以文字、聲音、圖形等方式呈現并可被用戶明顯感知到的標識。隱式標識是指采取技術措施在生成合成內容文件數據中添加的，不易被用戶明顯感知到的標識。

不同互聯網平臺的義務不盡相同。墾丁律所創始合伙人朱駿超告訴記者，網絡信息服務提供者的義務包括確保顯式標識、添加隱式標識；提供網絡信息內容傳播平臺服務的服務提供者的義務包括核驗隱式標識、添加提示標識、管理疑似內容，管理疑似內容包括在疑似生成合成內容的文件元數據中添加生成合成內容屬性信息、傳播平臺名稱或編碼、內容編號等傳播要素信息；互聯網應用程序分發平臺的義務包括核驗標識功能，即在應用程序上架或上線審核時，核驗服務提供者是否按要求提供生成合成內容標識功能。

具體而言，針對提供生成合成服務的網絡信息服務提供者，《意見稿》第四條提出，如果提供《互聯網信息服務深度合成管理規定》第十七條第一款情形規定的深度合成服務，可能導致公眾混淆或者誤認的，應當按要求對生成合成內容添加顯式標識。

《互聯網信息服務深度合成管理規定》第十七條第一款提到的具體情形包括：智能對話、智能寫作等模擬自然人進行文本的生成或者編輯服務；合成人聲、仿聲等語音生成或者顯著改變個人身份特征的編輯服務；人臉生成、人臉替換、人臉操控、姿態操控等人物圖像、視頻生成或者顯著改變個人身份特征的編輯服務等。

顯式標識方式根據內容表現形式有所差異。如果是圖片，則需在適當位置添加顯著的提示標識；如果是視頻，則在視頻起始畫面和視頻播放周邊的適當位置添加顯著的提示標識，可在視頻末尾和中間適當位置添加顯著的提示標識，等等。

《意見稿》還要求提供生成合成服務的網絡信息服務提供者，在生成合成內容的文件元數據中添加隱式標識，隱式標識需包含生成合成內容屬性信息、服務提供者名稱或編碼、內容編號等制作要素信息。同時，提供網絡信息內容傳播平臺應當采取措施，規范生成合成內容傳播活動。包括提供必要的標識功能，并提醒用戶主動聲明發布內容中是否包含生成合成內容等。

如果違反這一規定，未對生成合成內容進行標識造成嚴重后果的，將由網信等有關主管部門按照有關法律、行政法規、部門規章的規定予以處罰。

新壹科技副總裁陳鵬對記者表示，《意見稿》保護了用戶權益，通過顯式和隱式標識，用戶可以更容易地識別出內容是否由人工智能生成，有助于保護用戶的知情權和選擇權。另外，通過這一規范能增強內容可信度，減少誤導和濫用的可能性。

吳沈括對記者提到，內容標識是目前關于人工智能內容治理中的一種非常重要的機制設計，它對于避免深度偽造帶來的安全風險有非常大的價值，且通過標準的統一也有助于引導各方的業務規則、業務設計和業務模式，對于全鏈條的風險防范具有非常重要的作用，也能有助于公眾識別AI內容的真偽和權威性。

漢王科技天地大模型算法負責人彭菲認為，這一辦法的出臺具有重要意義和積極作用，不僅保護了公民、法人以及其他組織的合法權益，而且維護國家安全和社會公共利益。

“比如數據安全方面，顯示和隱式標識有助于提高數據的可追溯性，從而增強數據安全；通過明確標識AI生成的內容，有效防止誤導性信息的傳播，減少因技術濫用而引發的社會問題。版權管理方面，辦法明確AI生成內容的來源和版權歸屬，維護了創作者的合法權益。”彭菲認為，通過這些標識，用戶能更容易識別出合成內容，從而規范和負責地使用這些內容，減少虛假信息的傳播。該辦法有助于促使行業服務提供者規范地開展業務，推動人工智能技術的健康發展和廣泛應用。

防范AI犯罪

“《意見稿》大意是說生成相關內容如圖片、視頻、文字、語音必須標識說明為AI生成，防止有人惡意造謠、詐騙，引發不良影響的社會輿論，防止相關犯罪發生。之前有人非法用他人頭像或者臉部做合成，通過AI轉換語音進行詐騙，類似這種惡性事件應該杜絕。”AI視頻制作者馮彬告訴記者。

就在8月底，韓國出現多起利用AI換臉偽造女性色情露骨圖像的犯罪案，在這背后，犯罪者用深度偽造技術（Deepfake）合成色情照片和視頻，并在通信軟件Telegram的群聊中傳播，參與者多達22萬人，引發韓國民眾恐慌，有人將其稱之為韓國又一“N號房”丑聞。

深度偽造這一技術犯罪，不僅僅出現在韓國，這兩年在全球都有出現在國內，今年6月，“男子用AI偽造學生同事近7000張裸照”沖上微博熱搜。據央視新聞消息，犯罪嫌疑人用AI“一鍵去衣”技術，深度偽造淫穢圖片近7000張，再每張1.5元賣出，賺了將近一萬元。圖片涉及女性人數多，包括學生、教師、同事。

馮彬表示，現在多個視頻平臺都有向視頻上傳者提供類似“作者聲明：內容為AI生成”的標識選項，包括抖音、b站、快手、視頻號，但是沒有強制創作者選擇。據他觀察，沒有標識為AI內容的視頻，平臺會識別出一些并標識類似“疑似AI生成”的字段。

馮彬認為，平臺在標識、提醒內容是否為AI生成方面，應該更嚴格一些。相比視頻、圖片，平臺應該更難識別文本是否為AI生成，而從傳播效果看，視頻可能是“假新聞”更多采用的載體，AI換臉、AI語音這些有可能滋生詐騙的內容也尤其值得關注。

目前國內外已經達成共識，要對AI生成內容進行標識和管理。去年7月，美國白宮與大型科技公司達成協議，為人工智能的開發設置更多防護措施，包括開發水印系統等。歐盟委員會也要求社交媒體公司標記所有由人工智能生成的內容。

科技公司已經開始嘗試用技術制衡AI濫用。今年2月，OpenAI 團隊推出“AI 生成內容識別器”，旨在識別文本是由電腦自動生成還是人類撰寫，其本質上是一個區別真實內容和 AI 生成內容的分類器。不過，OpenAI 在博客中指出，此識別器對 AI 撰寫內容的檢出成功率僅為 26%。

今年5 月，谷歌在 Google I/O 大會上公布了AI 生成圖像識別工具，用戶可以通過上傳來源不明的圖片、執行反向圖片搜索，了解到這張圖片被谷歌初次收錄的時間、最早出現的網站。谷歌還宣布，它自己的生成式 AI 工具將在每張圖片中包含元數據、嵌入水印，以表明這是 AI 生成的圖像，而不是真實照片。相比AI 生成內容識別器，數字水印被認為可能是更有效的方法。

更早前，微軟在Build 2023開發者大會上，宣布增加一項功能，讓任何人都能識別Bing Image Creator和Microsoft Designer生成的圖像或視頻片段是否是由AI生成的。該技術使用密碼學方法對AI生成的內容進行標記和簽名，并附上有關其來源的元數據信息。

吳沈括表示，企業方面的是微生態，此次出臺的標識辦法標準則是國家和產業的大生態，“力度很大”。