界面新闻记者 |
界面新闻编辑 | 刘海川
当前，AI换脸与拟声技术的滥用已成为数字时代亟待解决的侵权难题。
据媒体报道，2025年8月30日，女台球运动员王思诺发布视频称，自己遭人恶意利用AI人工伪造淫秽视频并传播。她郑重声明，所有此类视频及内容均为非法伪造，她已委托律师保全证据启动法律程序。
AI技术被不法分子用于仿冒名人的现象并非个例。此前已有多名运动员、知名艺人及院士遭遇AI仿冒。据央视新闻2025年3月16日报道，中国工程院院士、天津中医药大学名誉校长张伯礼的肖像与声音就曾被AI技术伪造，用于某美白护肤品推广视频。
另据梳理，8月18日，某平台博主 “我是小助理吖” 发布的17条作品中，均为AI仿冒奥运冠军全红婵声音带货土鸡蛋的视频，其中一条视频点赞量达1.1万。
面对技术滥用，9月1日起，国家网信办、工信部等4部门印发的《人工智能生成合成内容标识办法》（以下简称《标识办法》）施行。该办法明确所有AI生成的文字、图片、视频等内容都要“亮明身份”。
西南政法大学人工智能法学院教授、博士生导师朱福勇告诉界面新闻，该办法的出台，为AI治理提供了关键的制度支点，其核心就在于确立了“标识义务”。这相当于给所有AI生成内容上了一张“数字身份证”，让公众能够清晰识别内容的来源和性质。
所有AI生成内容须打上标识
人工智能生成合成内容标识包括显式标识和隐式标识。显式标识是直接呈现给用户的标识，通常以文字、声音、图形等形式出现。隐式标识则是通过技术手段嵌入到生成内容的文件元数据中，主要用于内容溯源、侵权追踪等需要确保内容来源可靠性的场景。
《标识办法》规定，任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识，不得为他人实施上述恶意行为提供工具或者服务，不得通过不正当标识手段损害他人合法权益。
“这些禁止性规定为市场主体划定了红线，触及红线将面临处罚。”同济大学法学院副教授、上海市人工智能社会治理协同创新中心研究员陈吉栋告诉界面新闻，标识的作用就是找到行为主体，为相关责任的归属提供客观的依据。
此外，《标识办法》还明确，平台在服务提供者的内容上架或上线时要进行审核，核验生成合成内容标识，对未标识或疑似生成内容要添加风险提示，从而在传播端阻断虚假信息扩散。
界面新闻注意到，在此项新规落地前后，各社交媒体平台均制定了相关细则。
8月29日，B站发布公告称，推出AI生成合成内容标识功能，帮助大家更便捷地区分内容是否涉及AI生成。9月1日，快手发布公告表示，平合已上线AI内容标识并会在内容周边进行显著提示。
同日，抖音发布的《关于升级AI内容标识功能的公告》称，平台已上线两项核心功能：一是AI内容标识功能，协助创作者为AI内容添加提示标识，方便用户辨别；二是AI内容元数据标识读写功能，可识别并写入AI内容的元数据信息，为内容溯源提供技术支撑。此外，若创作者未主动添加标识，平台将辅助添加标识说明。
AI造假原因何在？
实际上，上述生成合成内容未依法标识所造成的侵权行为只是AI造假的一类。朱福勇告诉界面新闻，从类型上看，AI造假已渗透到多个领域。从法律行为的定性角度来看，除却上述行为，AI造假还可划分为三类。
第一类是深度伪造类造假，包括伪造人脸、声音、视频等。这类行为可能构成对公民肖像权、姓名权、声音权益的民事侵权。更进一步，如果以此骗取财物，可能构成诈骗罪。
第二类是数据与内容造假，这一造假行为更为隐蔽但影响范围广。朱福勇举例，如不法分子利用AI批量生成虚假评论、刷高店铺销量、伪造实验数据或学术论文等。这类行为首先冲击的是市场秩序和学术诚信，其法律后果可能包括违反《反不正当竞争法》、《电子商务法》中的禁止虚假宣传条款，以及各大科研机构与期刊的《学术诚信规范》，构成商业欺诈或学术不端行为。
用AI“批量化”生产谣言已成为一种牟利手段。2024年4月14日，公安部通报了一起MCN机构利用AI造谣的案例，江西男子王某江经营5家MCN机构，运营自媒体账号842个，组织团队利用AI工具批量生成虚假消息，单日产量高达4000至7000篇，其中一条最高收入可达700元，日均收入超过1万元。
“第三类则是身份冒充与社交工程攻击。这是危害最直接、最具破坏性的一类。”朱福勇表示，不法分子利用AI模仿亲友或领导的声音、形象，通过电话或视频提出转账汇款的要求。由于仿真度极高，受害人极易上当。
“这种行为已远超出了侵权的范畴，其目的就是非法占有财物，本质上就是传统的诈骗犯罪，只不过利用了AI这一新型工具，因此应直接以诈骗罪定罪量刑。”朱福勇说。
Ai造假乱象频现，是否是合成生成技术门槛降低所致？朱福勇表示，AI乱象频发并非仅因“技术简单”，而是端到端生态失衡的结果：低成本生成 + 高效分发 + 快速变现 + 相对滞后的统一标识与证据链规范。
“该链条形成了低门槛、低成本、低风险与快训练、快生产、快分发以及难溯源、难取证等情况。”朱福勇说。
其中，治理侧方面，存在“检测—标识错位”问题。朱福勇表示，目前，大多数平台在AI生成内容自动识别、违规证据固定及跨平台联动处理等能力上，远不及AI生成技术的发展速度。并且，标识体系在统一前存在口径不一、覆盖不全与易被二次处理“抹去”等问题，造成发现难、证据弱。
值得一提的是，上述《标识办法》针对人工智能生成合成标识的技术实现方式给出了更加细致、精准的指引，并配以具体的实现范例。例如视频内容显式标识要求，文字提示高度不低于画面最短边的5%，持续时间不少于2秒等。
朱福勇指出，随着上述《标识办法》实施，显式+隐式“双标识”与“传播端补标/拦截”要求将抬高绕标与复用的难度，配合《互联网信息服务深度合成管理规定》的实名、审核、辟谣机制、《生成式人工智能服务管理暂行办法》的数据与个保前置义务、《互联网信息服务算法推荐管理规定》的反操纵与未成年人保护规则，行业的“灰度空间”将会被持续压缩。
如何监管？
如何既拥抱创新又规避风险是当前AI治理的核心难题。
对此，朱福勇建议，应当通过“分级监管、双标识硬约束以及责任界定清晰且不过度连带”的组合策略，在为创新预留空间的同时，实现AI监管的可预期与可追责。
其核心是把比例原则与责任分配落实在可运行的制度上。朱福勇谈到，科研与内部测试环节应秉持审慎态度，严格履行备案流程。一旦相关成果面向公众，便进入硬规则轨道，需落实“显式 + 隐式”双标识、实名核验、内容审核以及应急处置等措施。
其次，在生成端要让用户能够清晰看到标识；在存证端要确保监管部门和法院能够查询到相关信息；在传播端则采用“未标不传/先补标”的网关兜底，同时通过统一元数据与开源校验实现平台间互认，降低合规摩擦。
责任划分方面，朱福勇指出，AI服务提供者负有前置合规责任，需确保合法开展训练、获得用户单独同意，并做好未成年人保护与纠偏等工作。平台作为传播的关键环节，负有注意义务闭环责任。平台要精准识别并及时处置违规内容，做好留痕上报工作，且不得操纵内容呈现或进行“大数据杀熟”。此外，商家在使用数字代言、仿声等技术时，应完成权利尽调并做好追偿约定。用户方面，其明知违法仍使用AI内容，则需自行承担相应责任，而平台在已尽合理注意义务的情况下，不承担过度连带责任。
不过，在整治AI生成内容滥用等问题时，也需警惕“误伤”。界面新闻注意到，目前有网络用户反映，自己发布的画作、文章、视频等内容均为原创，却被平台误判为“疑似AI合成”，进而面临作品被限流、下架等问题。
据悉，目前业内在AI低质内容治理方面，占比九成以上的审核工作由机器来完成，机器审核准确率难以达到100%，仍需人工不断校准。
据北京日报报道，针对这一情况，业内专家建议，未来平台应完善复核机制，建立便捷、有效的申诉渠道，如有条件，还可在算法识别基础上引入专家评估机制，综合判断内容是否为AI生成。
此外，作为普通用户又该如何提高识别AI造假的能力？朱福勇建议，用户应将进入账号主页、浏览视频、点击购买直至完成支付的整个过程进行录屏，同时妥善留存相关链接、交易时间、交易记录以及聊天记录等信息。若遭遇诈骗或产生财产损失，用户可持这些材料，一方面向平台反映以寻求处理，另一方面通过公共渠道进行维权。
“总之，用户要记住四句话：没标识的不买不转；交易只在平台内进行；发现可疑情况先举报再讨论；证据要一次性保留完整。”朱福勇表示，如此一来，用户不仅能保护好自己，也会倒逼平台将‘默认带标、未标不传、去标必罚’的规定真正落实到位。
