9月1日起，AI生成内容必须依法打上“电子水印”。
今年3月，国家网信办等四部门联合发布了《人工智能生成合成内容标识办法》（以下简称《标识办法》）。《标识办法》指出，利用人工智能技术生成的文本、图片、音频、视频、虚拟场景等信息，必须添加显式和隐式两种标识。显式标识指可以被用户明显感知到的标识，隐式标识指在生成内容的数据中添加的标识。
标识AI生成内容，内容发布者负主要责任
澎湃新闻梳理社交媒体平台相关用户协议发现，B站、抖音、微博、小红书等平台要求内容发布者主动标识AI生成内容。对于不主动标识AI生成内容的行为，部分平台采取了限流、下架内容、封号等措施。抖音还对未主动标识AI生成内容的行为，采取取消营利、抹除粉丝等措施。
此外，大部分平台对未标识的AI生成内容采取了“自动标记”的补漏措施，但实际效果差强人意。记者使用“AI图像”在各平台检索后，依然能够找到大量未标示的AI生成内容。值得一提的是，部分平台对AI标识的有关规定，最早可以追溯到《标识办法》出台前。这意味着很多平台在治理AI生成内容标识上做了长期的实践和探索，仅依靠平台规则和防范机制，很难完全规避未标示AI生成内容的传播。广东财经大学法学院教授姚志伟在接受南都记者采访时表示，新规对内容传播平台提出的技术要求较高，中小内容平台能否有效落地执行还需观察。
内容发布者不主动标识AI生成内容的原因是多种多样的，但本质还是想吃到AI内容带来的流量以及起号、变现红利。一项关于深度伪造内容AI标识对用户态度及转发意愿影响的研究指出，内容发布者的标识提醒能够有效激发用户对深度伪造内容的识别和处理，但会降低用户对发布内容的态度和分享意愿。
平台对AI生成内容可以说是“又爱又恨”。一方面，AI生成内容是热门内容创作赛道，抖音、小红书等平台都推出了扶持AI内容创作的计划，给与AI生成内容流量倾斜和推广；另一方面，一些用户在使用AI起号、做号时没有底线思维，传播谣言、虚假信息、色情擦边内容的违规行为屡禁不止。
造谣、擦边、换脸是AI滥用的重灾区
2025年4月，中央网信办开展了为期3个月的“清朗整治AI技术滥用”专项行动。上海市委网信办指导小红书、哔哩哔哩、拼多多等15家重点网站平台，共拦截清理相关违法违规信息82万余条，处置违规账号1400余个，下线违规智能体2700余个。经整治，网络违规AI信息显著减少。
澎湃新闻统计B站、小红书、微博发布的“清朗整治AI技术滥用”治理周报典型案例发现，虚假宣传（谣言）、低俗擦边、违规营销推广AI产品信息（AI换脸、换声等）是各平台比较突出的共性问题。此外，B站在AI技术滥用的治理重点中还将以下内容列为违规内容，包括AI生成国际军事虚假内容、AI生成低俗猎奇视频、AI生成虚拟外国幼儿教育专家教授育儿内容、AI生成历史人物穿越、AI大模型助考/高考押题预测等。
据网信上海消息，通过政策指导、生态协同与技术落地，稀宇科技、阶跃星辰、通义、小红书、哔哩哔哩、Soul等已基本完成显式标识规范上线，加快开发上线隐式标识和传播链互认验证，小红书牵头编制图片模态元数据标识实践指南，上海标识工作取得阶段性成效。
