整治AI时代的信任危机，网信办就AI合成内容的标识办法征求意见

　　随着生成式AI的爆发，社交媒体上的内容越来越真假难辨，人们很难确信某(mǒu)张照片(piàn)或视频是真实存在的瞬(shùn)间，以往的一句“眼见为实”在当下已经需要打上问号。

　　为应对这一冲击(jī)，9月(yuè)14日(rì)，国家互联网信息办公室发布《人工智能生成合成内(nèi)容标识办法（征求意见稿）》（下文(wén)简称《意见稿》），在《互联网信息(xī)服务深(shēn)度合成管理规(guī)定》《生成式人(rén)工智能服务管理暂行办法》等法律法规上，进一步细(xì)化了AI合成内容的标识办法。

　　“这是全球范围(wéi)内第一部关(guān)于人工智能生成(chéng)合成内容标识的国家标准，是关于人工智能内容治理机制建设的重要探索(suǒ)，对人工智能(néng)内容产业的有序发展和业务(wù)规则具(jù)有重要的指引意义，也有助于(yú)人工(gōng)智能良(liáng)性生态(tài)的培育。”北京师范大学法学院副教授、中国互联网(wǎng)协会研究中心副(fù)主任(rèn)吴(wú)沈括对第一财经(jīng)表示。

　　细化内容生成标识

　　此次的《意见稿》提出，人工智能(néng)生成合(hé)成内容标识包括显式标识和隐式标识。显式标识是(shì)指在生(shēng)成合(hé)成内容或(huò)者交互场景界面中添加的，以文字、声音(yīn)、图形等方式呈现并可被用户明(míng)显感知到的标识。隐式标识是指采取技术措施在生成合成(chéng)内容文件数(shù)据中添加的，不易(yì)被用户明显感知到的标识。

　　不同互联网平台的义务不尽相同。垦丁(dīng)律所创始合伙人朱骏超告诉记者，网络信息服务提供(gōng)者的义务包(bāo)括确保(bǎo)显式标识、添加隐式标识；提供网络信(xìn)息内容(róng)传播(bō)平台(tái)服务的服务提(tí)供者的义务包括核验隐(yǐn)式(shì)标识、添(tiān)加提(tí)示标识、管理疑似内容，管理疑似内(nèi)容(róng)包括在疑似生成合成(chéng)内容的文件元数据中添加生成合成内容属(shǔ)性信息、传(chuán)播平台名称或编码(mǎ)、内容编号等传播要(yào)素信息；互联网应用程序分发平台的义务包括核验标识功(gōng)能，即在应用程序上架或(huò)上(shàng)线审(shěn)核时，核(hé)验服务(wù)提供者是否按要求提供生成合(hé)成内容标识功能。

　　具体而言(yán)，针对提供生成合成服务的网络信息服务提供者，《意见稿》第四条提出，如果(guǒ)提供《互联网信息服务深度合成管理规定》第十(shí)七条第一款情形规定的深度合成服务，可能导致公众(zhòng)混淆或者误认的，应当(dāng)按要求对生成合成内容添加显式标识。

　　《互联网信(xìn)息服务深度合成管理规定》第十七条第一款提到的(de)具体情形(xíng)包括：智(zhì)能对话、智能写作(zuò)等模拟自然人进行文本(běn)的生成或者编辑(jí)服务；合成人声、仿声等语(yǔ)音生成或者显(xiǎn)著改变个人身份特征的编辑(jí)服务；人脸生成、人脸替换、人脸操控、姿态操控等(děng)人物图像、视频生成或者显著(zhù)改变个人身份特征的编辑服务等。

　　显式标(biāo)识方(fāng)式根据内容表现形式有所差异。如果是图片，则需在适当位置添加显著的提示标识；如果是视频，则在视频起始(shǐ)画面和(hé)视频播放周边(biān)的适当(dāng)位(wèi)置添(tiān)加显著(zhù)的提示标识，可在视频末尾和中间适(shì)当位置(zhì)添加显著的提示(shì)标识，等等。

　　《意见稿》还要求提供生成合成服务(wù)的网络(luò)信息服务提供者，在生成合成内容的文件(jiàn)元数据中添加隐式标识(shí)，隐式标识需包含生成合成内容属性(xìng)信息、服务提供者名称或编码(mǎ)、内容编号等制作要素(sù)信息。同时，提供网络信息内(nèi)容传播平台应当采取措施，规范生成合成内容传播活(huó)动。包括提供必要(yào)的标识功能，并提醒用户主动声明发布内容中(zhōng)是否包含生成合成内容等。

　　如果违(wéi)反这一规定，未(wèi)对生成合成内容进(jìn)行(xíng)标识造成严重后(hòu)果的，将由网信等有关主管部门按照有(yǒu)关法律(lǜ)、行政法规、部门规(guī)章的(de)规定予(yǔ)以处罚。

　　新壹科技副总裁陈鹏对记者表(biǎo)示，《意见稿》保护了用户权益，通(tōng)过显式(shì)和隐式标识，用户可以(yǐ)更容易地(dì)识别(bié)出内(nèi)容是否由人工(gōng)智能生成，有助于保护用户的知情权(quán)和选择权。另外，通(tōng)过这一规范能增强内容可信度，减少误导和滥用的可能(néng)性。

　　吴沈括对记者提(tí)到，内容标识是(shì)目前关于人工智能(néng)内容治理(lǐ)中的一种非常重要的(de)机制设计，它对于避免深度伪造带来的安全风险有非常大的价值，且通过(guò)标准的统一(yī)也整治AI时代的信任危机，网信办就AI合成内容的标识办法征求意见有助于引导各方的(de)业务规则(zé)、业务设计和业(yè)务模(mó)式，对于全链条的风险防范具有非(fēi)常重要的作用，也(yě)能有助于公(gōng)众识别AI内容的真伪和(hé)权威(wēi)性(xìng)。

　　汉王科技(jì)天(tiān)地大模型算法负责人彭菲(fēi)认为，这一办法的出台具有(yǒu)重要意义和积极作用，不(bù)仅保护了公民、法人以及其他组(zǔ)织(zhī)的合法权益，而且维护国家安全(quán)和社会公(gōng)共利(lì)益(yì)。

　　“比如数据安(ān)全方面，显示和隐式(shì)标识(shí)有助于提高数据的可追溯性，从而增强(qiáng)数据(jù)安全；通过明确标识(shí)AI生成的内容，有(yǒu)效防止误导性信息的(de)传播，减少因技术滥用而引发的社会问题。版权管理方面(miàn)，办法明确AI生成内容的来源和版权归属，维护了创作者的(de)合法权益。”彭菲认为，通过这些标识，用户能更容易识别出合成内(nèi)容，从而规范和负责地(dì)使用这些内容，减少虚假信息的传播。该办法有助于促使行业(yè)服务提(tí)供者规范地开展业务，推动人工(gōng)智能技术的健(jiàn)康发展和广泛应(yīng)用。

　　防范AI犯罪

　　“《意见稿》大意(yì)是说生成相(xiāng)关内容如图片、视频、文字、语音必须标识说明为AI生成，防止有人恶意造(zào)谣、诈骗，引发不良影响的社会舆论(lùn)，防止相关犯罪(zuì)发生。之(zhī)前有人非法用他人头像或者脸(liǎn)部(bù)做合成，通(tōng)过(guò)AI转换语音进行诈骗，类似(shì)这(zhè)种恶性事件(jiàn)应该杜绝。”AI视频制作者冯彬告诉记(jì)者。

　　就在(zài)8月(yuè)底，韩国(guó)出现多起利用AI换脸伪造女性色情露骨图像的犯罪(zuì)案，在这背后，犯罪者用深度伪造技术(shù)（Deepfake）合成色(sè)情照片和视频，并在(zài)通信软(ruǎn)件Telegram的群聊中传(chuán)播，参与者多达(dá)22万人，引发韩国民众恐慌(huāng)，有人将其称之为韩国(guó)又(yòu)一(yī)“N号房”丑(chǒu)闻。

整治AI时代的信任危机，网信办就AI合成内容的标识办法征求意见cms-style="font-L">　　深度伪造这一(yī)技术犯罪，不仅仅出现在韩国，这(zhè)两(liǎng)年在全球都有出(chū)现在国内，今年6月，“男子用AI伪造学生同事近(jìn)7000张裸照(zhào)”冲(chōng)上微博热搜(sōu)。据央视新闻消息(xī)，犯(fàn)罪嫌疑人用AI“一键去衣”技(jì)术，深度伪造淫秽图片近7000张，再(zài)每张1.5元卖出，赚了(le)将近一万元。图片涉及女性人数多，包括(kuò)学生、教师、同事。

　　冯彬表示，现在多个视频平台都有向视频上传者(zhě)提供类似“作(zuò)者声明：内容为AI生(shēng)成”的标识选项，包括抖音、b站、快手、视频号，但是没有(yǒu)强制创作者选择。据他观察，没有标识为AI内容的视频，平台会识(shí)别出(chū)一些并(bìng)标(biāo)识类似“疑似AI生成”的(de)字段。

　　冯彬认为，平台在标识、提醒内容是否为AI生成(chéng)方面，应该更严格一些。相比视(shì)频、图片，平台应该更难识(shí)别文(wén)本是否为AI生成，而从传播效果看，视频(pín)可能是“假新闻(wén)”更多采用的载体，AI换脸、AI语音(yīn)这些有可能滋生诈骗的内容也尤其值得关注。

　　目前国内外已经达成共识(shí)，要对AI生成内容进行标识和管理(lǐ)。去年7月，美(měi)国(guó)白宫(gōng)与(yǔ)大型科技公司达成(chéng)协议，为人工(gōng)智能(néng)的开发设置更(gèng)多防护措(cuò)施，包括开发水印系统等。欧盟委员会也要求(qiú)社交媒体公(gōng)司标记所有由人工智能生(shēng)成的内容。

　　科技公司已经开始尝试用技术(shù)制衡(héng)AI滥用(yòng)。今年(nián)2月(yuè)，OpenAI 团队推出 “AI 生成内(nèi)容识别器”，旨在识别文本是由电脑自动生成还是人类(lèi)撰写，其本质(zhì)上是一个区别真实(shí)内容和 AI 生成内容的分类(lèi)器。不过，OpenAI 在博客中指(zhǐ)出，此识别器对 AI 撰写内(nèi)容的检出成功率仅为 26%。

　　今年5 月，谷歌在 Google I/O 大会(huì)上公布(bù)了AI 生成图像识别工(gōng)具，用户(hù)可(kě)以通过上(shàng)传来源不明的图片、执行反(fǎn)向(xiàng)图片搜索，了解到(dào)这张图片被谷歌初次收录的时(shí)间、最早出现的网站。谷歌还宣布，它自(zì)己的生成式(shì) AI 工具将(jiāng)在每张图(tú)片(piàn)中(zhōng)包含元(yuán)数据、嵌入水印，以表明这是 AI 生成的图像，而不是真实照片。相比AI 生(shēng)成内容识别(bié)器，数字(zì)水(shuǐ)印被(bèi)认为(wèi)可能是更(gèng)有效的方(fāng)法(fǎ)。

　　更早前，微软在Build 2023开发者大会上，宣布增加一项功能，让任何人都能识别Bing Image Creator和Microsoft Designer生成的图像或视频片段(duàn)是否是由(yóu)AI生成的。该技(jì)术使(shǐ)用密(mì)码(mǎ)学方法对AI生成的内容进行标记和签(qiān)名，并附上有关其来源的元数(shù)据信息。

　　吴沈括(kuò)表示，企(qǐ)业方(fāng)面的是微生态，此次出台的标识办法标准则是国家和产业的(de)大生(shēng)态，“力度很大”。

　　（本文来自第一财经）

责任编辑：刘(liú)万里 SF014