人工智能技术红利背后，虚假信息入侵司法程序的风险也悄然浮现。10月28日，澎湃新闻从北京通州区人民法院获悉，该院近日审结的一起商事纠纷案件中，暴露出AI生成的虚假案例对司法公正的现实威胁，亟须警惕。
据通州法院民一庭副庭长郑吉喆法官介绍，这是一起由股权代持引发的商事纠纷案件。在诉讼中，原告代理人为了进一步佐证其观点，庭后向法院提交了书面意见，其中援引了名为最高人民法院的某案例及上海一中院的（2022）沪01民终12345号案件。
“从代理意见的描述来看，两案的事实细节、法律争议与裁判逻辑都与审理中的案件高度契合，完美佐证了原告代理人的主张观点，初看之下极具参考价值。”郑吉喆说。
出于职业敏感性，承办法官经检索核实发现，这两个案号所对应的真实案件事实与代理人书面意见中的描述的情况完全不同。其中，（2022）沪01民终12345号案件其实是一起民间借贷纠纷，与书面意见中描述的事实完全不符，和本案所涉及的事实亦毫无关联，没有任何相似或者可以参照的情节。
在承办法官的质询下，原告代理人终于承认，参考案例是由其提炼本案的事实情节，后反复向某AI大模型软件提问，由该软件生成的参考案例，代理人未进一步核实，而是直接复制粘贴后即提交法院。最终，承办法官依据法律规定，结合案件事实对原告代理人的该部分代理意见未予采纳。
在判决书中，承办法官对原告代理人的行为提出批评，要求原告代理人引以为戒，在向法院提交参考案例、法条时，应当进行检查和核验，确保内容的真实性和准确性，不得放任人工智能模型生成或者编造虚假信息扰乱司法秩序，一审判决后，双方均未提出上诉，判决已经生效。
承办法官结合该案审理经验及司法实践规律，总结了以下三方面识别AI生成的虚假案例特征：一、案号编排存在规律化痕迹。二、案情描述过度贴合需求场景。三、难以通过检索方式进行验证。
“近年来，ChatGPT、DeepSeek等引发的人工智能浪潮正深刻地改变着人们的工作方式，其强大的语言生成能力在短时间内就能输出看似专业、翔实的文本。但在没有正确引导的情况下，AI极有可能生成误导性甚至虚假的信息。”承办法官为此提示，民事诉讼法及司法解释等对行为人利用AI生成不属于证据性质的虚假参考案例如何处理尚没有明确规定，但AI生成虚假信息对司法秩序带来的危害值得重视，虚假案例干扰了法院的正常审理流程，审判团队不得不花费额外的时间和精力对律师提交的案例进行反复查找和甄别核实，一旦AI生成的虚假信息被参照适用，司法公信力将受到质疑。
“法律从业人员应将AI作为辅助工具，而非替代自身专业判断的神器。使用AI时，仍需保持审慎和理性，对AI生成的内容进行严格审查，确保信息来源可靠、内容真实准确。”承办法官表示，人民法院应当加大审查力度，运用技术手段和专业知识，对当事人及代理人提交的参考案例等资料进行严格甄别，确保司法过程中使用的信息真实可靠。
