继2025年底杭州互联网法院审结首例“AI幻觉”侵权纠纷案后,近期南京中院审理的又一起“AI幻觉”侵权纠纷案进入公众关注视野。“AI幻觉”是指人工智能模型生成看似合理、实则与事实不符或毫无根据的内容。对此类生成内容引发的侵权争议,应适用《民法典》第一千一百六十五条第一款规定的一般过错责任原则,而非产品责任的无过错责任原则。对于法律禁止信息,服务提供者负有严格的事先审查义务,一旦生成此类内容,即可据此认定其主观过错;对于一般性不准确信息,则不苛求结果绝对准确,只要服务提供者向用户履行了显著提示说明义务,并采取了行业通行的技术措施(如RAG)提升生成内容准确性,即应认定已尽到合理注意义务,不构成主观过错。
一、 杭州互联网法院:“梁某诉某科技公司案”
(一)案情介绍
某生成式人工智能应用程序(“AI应用”)是某科技公司基于自研大语言模型,开发并运营的文本生成、信息查询类通用型智能对话应用程序。2025年3月,梁某在同意用户协议后,注册并开始使用该AI应用。2025年6月29日,梁某在该AI应用中输入提示词询问某高校报考的相关信息时,该AI应用生成了关于该高校某校区的不准确信息。梁某发现后,在对话中进行了纠正和指责,该AI应用仍继续回复称该高校确实存在这一校区,并生成了对争议问题的解决方案,提出若生成内容有误将向用户提供10万元赔偿。之后,梁某将从该高校官网查询到的招生信息提供给该AI应用,此时该AI应用承认其生成了不准确信息,并建议梁某到杭州互联网法院起诉索赔。
梁某认为,该AI应用生成不准确信息对其构成误导,使其遭受侵害,并承诺对其进行赔偿,遂起诉要求某科技公司赔偿损失9999元。
(二)法院认为
杭州互联网法院认为,生成式人工智能服务依据《生成式人工智能服务管理暂行办法》属于“服务”范畴,且生成式人工智能服务提供者缺乏对生成信息内容足够的预见和控制能力,因此应适用《民法典》第一千一百六十五条第一款的一般过错责任原则,而非产品责任的无过错责任原则。
生成式人工智能技术还处于高速发展的过程之中,其应用场景亦具有很强的泛在性,故服务提供者的注意义务处在一个动态调整的框架之中,宜采取动态系统论的方法进行综合考量、具体分析。在案涉情形下,服务提供者应尽的三层注意义务如下:
一是提供者应对法律禁止的有毒、有害、违法信息负有严格审查义务,一旦生成前述有毒、有害、违法信息本身即构成违法,但除此外的其他一般性不准确信息,现行法律规范未对服务提供者科以必须确保信息准确的结果性审查义务。
二是提供者应尽服务功能的显著提示说明义务,采取必要、合理的显著提示措施,使得用户能够了解、认知服务功能的局限性,并在特定情形下达到警示提醒的效果。被告在该AI应用的欢迎页、用户协议及交互界面的显著位置呈现AI生成内容功能局限的提醒标识。
三是提供者应尽功能可靠性的基本注意义务,采取同行业通行技术措施提高生成内容准确性。本案被告大模型已完成国家大模型、算法等的备案,通过数据、算法的安全评估。被告在本案中也提供证据表明,其聚焦数据层、模型层以及应用层,已从模型内生安全、外部护栏层面采取提高生成内容准确性的措施,以及采用检索增强生成(RAG)等技术方法,提升输出的准确性与可靠性。前述证据能够达到初步证明目的,原告未提交相应的反驳证据,应承担不利后果。
综上,法院认定被告已尽到合理注意义务,主观上不存在过错,且未构成对原告权益的损害,依法不应认定构成侵权。最终,法院驳回了原告的诉讼请求。原、被告均未上诉。判决现已生效。
二、南京中院:“李小亮诉百度案”
(一)案情介绍
2024年9月25日,李小亮律师在百度手机App搜索“李小亮律师”“南京李小亮律师”等关键词时,发现在“百度搜索下拉词”“大家还在搜”“相关搜索”以及“AI智能回答”等板块,出现了大量诸如“南京李小亮律师判刑了吗”“南京李小亮律师被判了多少年”等搜索和下拉词条内容。当搜索“李小亮律师被判几年”时,“AI智能回答”给出的具体内容为:“三年,李小亮律师被判三年有期徒刑。根据探索结果,被告人李小亮因犯爆炸罪,被判处有期徒刑三年”,且系统自动配发了李小亮身着律师袍的照片。
李小亮随后向百度公司发送律师函,通过百度推广咨询热线、北京政务热线、百度邮箱等渠道投诉反映侵权问题。百度公司、北京政务热线均有电话回复李小亮,对于问题是否处理、处理结果是否满意进行回访,李小亮认为百度公司并未处理,即使处理了又会仍然存在。
于是,李小亮正式起诉百度公司,要求删除全部不实信息、在百度首页置顶道歉8个月、赔偿误工费15万元及精神损害抚慰金等。
(二)法院认为
南京江北新区人民法院(“一审法院”)认为百度搜索的下拉词条、“大家还在搜”“相关搜索”显示的内容均为用户使用百度搜索功能记忆,方便用户搜索相关内容时直接搜索,百度公司未对数据进行加工、处理,且用户搜索的“南京李小亮律师”“江苏李小亮律师坐牢了吗”等相关内容也并不具有明确的指向性,百度公司未能主动更新删除,并无主观过错,属于合法履行义务。
本案百度公司“AI智能回答”的侵权内容系百度公司对搜索内容通过AI技术将文字内容与图片加工合成,错误、贬损性质的内容明确指向李小亮,百度公司主观上存有过错,该搜索发布内容的行为造成了李小亮的名誉受损,故百度公司的案涉行为构成名誉侵权,应当承担相应的法律责任。因百度公司已删除侵权内容,且李小亮未提交证据证明损失及精神损害,一审法院判决百度公司向李小亮书面道歉,但驳回其其他诉讼请求。
百度公司上诉后,二审法院南京中院认为百度公司“AI智能回答”相关侵权内容系百度公司通过AI技术将文字内容与图片加工合成产生,具有一定偶发性,因本案发生于国内人工智能发展初期,受限于技术发展,且百度公司事后亦采取了相应补救措施,一审法院结合百度公司的过错程度、侵权时间、损害后果等因素,认定百度公司的案涉行为构成名誉侵权,要求百度公司向李小亮书面道歉信符合本案的实际情况,本院予以确认。
三、两案的“异”与“同”
两案均因AI“幻觉”引发侵权争议,但裁判结果各异。核心区别在于生成内容的性质:“梁某诉某科技公司案”涉及高考报考信息的准确性,属于一般性不准确信息;“李小亮诉百度案”则涉及直接侵害他人人格权的贬损性内容。这一本质差异,决定了法院在注意义务设置与过错认定上的不同。
在“梁某诉某科技公司案”中,杭州互联网法院明确区分“法律禁止内容”与“一般性不准确信息”,对应设置不同层级的注意义务。对于法律、行政法规禁止的有毒、有害、违法信息,服务提供者负有事前严格审查义务,一旦生成即构成违法;对于一般性不准确信息,则不苛求结果绝对准确,只要提供者尽到显著提示义务并采取行业通行技术措施,即不认定其具有主观过错。
在“李小亮诉百度案”中,一审、二审法院未详细说明百度公司应尽的注意义务及过错认定理由。从公开信息看,法官曾质疑:为何豆包和DeepSeek中没有关于李小亮的负面评价?百度公司则以“AI幻觉具有不确定性、无法预见”为由抗辩。
从二审判决书分析,法院并未从“是否采取行业通用技术措施”入手,而是基于人工智能技术局限性和侵权内容的偶发性,排除了百度公司除书面赔礼道歉外的民事赔偿责任。法院认定过错的逻辑在于区分内容的生成主体与方式:对于“下拉词条”“大家还在搜”等用户搜索形成、百度未加工处理的内容,百度不具主观过错;而对于“AI智能问答”,因侵权内容系百度主动通过AI技术加工生成,法院认定其具有主观过错。换言之,百度的过错在于“通过技术加工主动生成了侵权内容”这一行为本身。这一逻辑与杭州互联网法院对“法律禁止内容”的处理方式一致——对涉及他人人格权的严重侵权内容,服务提供者负有确保生成内容合法性的结果性审查义务。
值得探讨的是,将侵害人格权等合法权益的生成内容纳入结果性审查义务范围是否具备合理性。《互联网信息服务管理办法》第十五条及《网络信息内容生态治理规定》第六条虽将侵害他人名誉、隐私等合法权益的信息列为违法信息,但《生成式人工智能服务管理暂行办法》第四条将“不得侵害他人合法权益”单列为第(四)项,与第(一)项(禁止生成违法信息)并列。这一立法安排的核心考量在于:是否侵害他人合法权益,往往涉及事实认定、法律评价与价值权衡,需结合具体语境个案判断,无法通过预设规则精准过滤。若强制要求服务提供者对侵权内容承担结果性审查义务,无异于将个案裁判权前置转移给算法,超出了当前技术可行性,也与过错责任原则的基本精神相悖。
四、律师建议
结合上述案例,对于生成式人工智能服务提供者,建议如下:
1. 建立“内容分级”的审查与风险过滤机制:对于红线内容(有毒、有害和违法信息),通过关键词过滤、敏感词阻断、输出内容实时审核拦截等强控制机制建立事前严格的过滤与拦截机制,争取实现“零幻觉”。对一般性不准确信息,采取行业通用技术措施(如RAG检索增强生成、人工抽检、反馈闭环优化等),持续提升生成内容的准确性与可靠性。对于可能侵害他人名誉权、隐私权等合法权益的生成内容,应采取更高的注意标准,避免AI主动生成带有明确贬损或指向性的内容。
2. 落实AI生成内容标识规定,增强内容来源透明性与风险提示:按照《人工智能生成合成内容标识办法》以及相关国家标准在交互界面或其他适当位置添加“内容由AI生成”的显著提示标识。若生成内容涉及人身、财产、医疗、金融等专业决策领域,应进一步提示用户该内容“仅作为参考,不构成专业建议”,并说明AI生成结果的局限性,以防止用户误用或过度依赖。
3. 依法开展算法与模型评估备案,建立常态化合规机制服务提供者应按照现有监管规定要求开展算法和大模型安全评估,办理算法和大模型备案。定期审核、评估、验证算法机制机理、模型、数据和应用结果,并不断优化技术能力,确保持续满足安全合规要求。
4. 建立便捷、透明的用户投诉与侵权通知接收机制,确保在收到权利人通知后及时采取删除、屏蔽、停止生成等措施,并完整留存处置记录。针对侵害人格权等合法权益的生成内容,即便不能避免侵权事实的认定,但可以从过错程度、损害程度轻重等维度,减轻或免除相应的民事赔偿责任。
法条依据
1. 《生成式人工智能服务管理暂行办法》
第四条 提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德,遵守以下规定:
(一)坚持社会主义核心价值观,不得生成煽动颠覆国家政权、推翻社会主义制度,危害国家安全和利益、损害国家形象,煽动分裂国家、破坏国家统一和社会稳定,宣扬恐怖主义、极端主义,宣扬民族仇恨、民族歧视,暴力、淫秽色情,以及虚假有害信息等法律、行政法规禁止的内容;
(二)在算法设计、训练数据选择、模型生成和优化、提供服务等过程中,采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视;
(三)尊重知识产权、商业道德,保守商业秘密,不得利用算法、数据、平台等优势,实施垄断和不正当竞争行为;
(四)尊重他人合法权益,不得危害他人身心健康,不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益;
(五)基于服务类型特点,采取有效措施,提升生成式人工智能服务的透明度,提高生成内容的准确性和可靠性。
2. 《中华人民共和国民法典》
第一千一百六十五条 行为人因过错侵害他人民事权益造成损害的,应当承担侵权责任。
依照法律规定推定行为人有过错,其不能证明自己没有过错的,应当承担侵权责任。
❖团队实习生田紫琪对本文亦有贡献
作者简介:
杨雪娇,联席合伙人
杨雪娇律师,北京德和衡律师事务所联席合伙人,持欧盟信息隐私专业认证(CIPP/E),从业以来为多家大型央国企、知名跨国公司和头部互联网公司提供境内外数据合规服务,服务客户涉及电商、物流、金融、工业和智能汽车制造、医疗、算力等行业领域,在网络和数据安全、互联网产品合规、人工智能等新技术领域具备丰富的实务经验。
擅长领域:数据合规、互联网产品合规、民商事争议解决、公司日常法律顾问
杨雪娇数字争议解决团队由德和衡律师事务所从事网络安全与数据合规、知识产权、民商事争议解决、刑事业务等多领域的专家律师们组成,团队成员共同深耕数字经济领域的争议纠纷问题,致力于为客户提供复合型的法律服务和争议解决方案。
手机:13810048335
邮箱:yangxuejiao@deheheng.com