生成式人工智能服务管理暂行办法
本文用于把生成式AI服务合规拆到服务适用范围、训练数据、个人信息、内容安全、用户保护、标识和算法治理等实际工作中。
法规概览
| 项目 | 内容 |
|---|---|
| 法规 | 《生成式人工智能服务管理暂行办法》 |
| 生效日期 | 2023年8月15日 |
| 主要适用对象 | 利用生成式人工智能技术向中国境内公众提供生成文本、图片、音频、视频等内容的服务提供者 |
| 核心问题 | 训练数据与知识产权、个人信息、生成内容治理、用户保护、未成年人、投诉处置、安全评估与算法备案等 |
| 官方来源 | 国家互联网信息办公室 |
下文按 “法规要求 → 落实与验收” 展开：每项要求同时说明实施动作与可验证证据。AI内容标识还需叠加《人工智能生成合成内容标识办法》和《互联网信息服务深度合成管理规定》。
安全要求与实施
先判断服务是否落入办法适用范围
法规要求｜第2条。 向境内公众提供生成文本、图片、音频、视频等内容的生成式人工智能服务适用本办法；未向境内公众提供服务的研发、内部应用等情形按条文边界判断。
落实与验收。
- 对模型、API、智能助手、插件和内嵌AI功能建立服务清单，记录是否面向境内公众、用户类型和提供方式。
- 不以“底层用第三方模型”“只是功能模块”规避对实际服务提供行为的判断。
- 内部研发转向公众开放、API开放给外部客户等变化时重新判断适用性。
验收证据。
- 从线上域名、API Key、App功能和客户合同反查服务清单，是否存在未登记的公众AI能力？
- 一个内部模型开放给外部开发者后，谁负责重新做适用性判断？
- 第三方模型由本机构包装后直接向公众提供时，实际服务责任如何划分？
管理训练数据、知识产权和个人信息来源
法规要求｜第7条等。 开展生成式人工智能服务训练数据处理活动，应依法使用具有合法来源的数据，尊重知识产权；涉及个人信息时应依法取得相应处理基础，并提高训练数据质量。
落实与验收。
- 建立训练、微调、RAG语料和评测数据的来源、授权、个人信息属性、敏感程度和使用限制清单。
- 对采购数据、开源数据、公开网页和用户数据分别验证合法来源与许可边界。
- 涉及个人信息时，明确处理依据、最小化、去标识化/匿名化和退出/删除机制。
- 数据清洗、标注和质量评估有责任人和可追溯版本。
验收证据。
- 随机抽一批训练或微调数据，能否追到来源、授权和允许用途？
- “公开可访问”的网页数据是否被自动等同于“可任意用于训练”？
- 用户输入是否被用于训练，告知和处理依据是什么，退出后如何执行？
- 发现侵权或个人信息问题时，能否定位受影响训练版本和下游模型？
建立生成内容安全治理机制
法规要求｜第4、9、14条等。 提供者应依法承担网络信息内容生产者责任，发现违法内容时及时采取停止生成、停止传输、消除等处置措施，并通过模型优化训练等方式整改、按要求报告。
落实与验收。
- 建立输入、生成、传播和用户举报多层内容安全控制，不依赖单一关键词过滤。
- 明确违法内容发现、阻断、复核、账号处置、模型整改和主管部门报告流程。
- 对模型版本、提示词、策略和安全模型变化进行回归评测，防止优化后旧风险重新出现。
- 保存必要的处置和评测记录，能够说明控制为什么有效。
验收证据。
- 用已知高风险和边界测试集对当前线上模型抽测，安全策略是否与上线评测一致？
- 真实违法内容事件发生后，除了删除单条内容，是否追到模型/策略层原因并整改？
- 最近一次模型升级后，原有安全用例是否全部重跑？
- 用户举报和自动检测发现的问题是否进入同一整改闭环？
保护用户输入、使用记录和个人信息权益
法规要求｜第9、11条等。 涉及个人信息的，提供者承担个人信息处理者责任；对用户输入信息和使用记录依法保护，不得收集非必要个人信息，不得非法留存可识别身份的信息，不得非法向他人提供，并依法处理个人行权请求。
落实与验收。
- 对输入、对话历史、日志、反馈、插件调用和模型训练用途分别定义收集范围、保存期限和访问权限。
- 关闭默认过度留存，生产排障、滥用监测和训练需要使用记录时明确目的和最小范围。
- 第三方模型、插件和工具调用前明确哪些用户数据会被发送以及接收方责任。
- 查阅、复制、更正、删除等个人权利可覆盖对话和后台记录。
验收证据。
- 随机抽一个用户会话，从前端到日志、分析平台和模型供应商分别保存了哪些数据？
- 用户删除对话后，后台、备份和训练数据中的相关信息如何处理？
- 插件调用是否把完整对话或敏感信息发送给不必要的第三方？
- 生产排障人员能否无限制检索用户输入内容？
明确用户规则、适用人群和未成年人保护
法规要求｜第9—10条等。 提供者应与注册用户明确双方权利义务，公开服务适用人群、场合和用途，并采取措施防范未成年人过度依赖或沉迷。
落实与验收。
- 服务协议、使用规则和产品提示明确能力边界、禁止用途、数据处理和用户责任。
- 对高风险专业场景和模型局限进行适当提示，避免产品设计制造不合理的确定性预期。
- 识别未成年人使用场景，设置适龄提示、时长/交互保护和相应内容策略。
- 用户投诉、申诉和举报有明确入口、处理时限和复核机制。
验收证据。
- 随机抽一个高风险使用场景，用户能否在关键决策前看到适用边界，而不是只在长协议里？
- 未成年人账号和普通账号在保护措施上有什么真实差异？
- 最近一次用户投诉是否能追到受理、分析、处理和反馈全过程？
- 服务规则变化后是否主动告知用户并同步产品实现？
落实标识、安全评估和算法备案等专项义务
法规要求｜第12、17条等及后续标识规则。 生成内容应按深度合成及AI生成合成内容标识规则履行标识义务；具有舆论属性或者社会动员能力的生成式人工智能服务，还涉及安全评估、算法备案等专项要求。
落实与验收。
- 将显式/隐式标识嵌入生成、导出、API和传播链路，使用统一测试矩阵持续验证。
- 在产品上线和重大变更前判断是否具有舆论属性或社会动员能力，是否触发安全评估、算法备案等义务。
- 备案/评估材料与当前模型、数据、功能和安全措施保持一致，重大变化触发重新判断。
验收证据。
- 通过网页、App、API分别生成内容，显式和隐式标识是否按适用规则存在？
- 当前哪些AI服务做过算法备案/安全评估，为什么这些服务需要、其他服务不需要？
- 模型、核心算法或主要功能发生重大变化后，备案材料是否仍准确？
- 标识链路被转码、编辑或第三方传播后，系统是否还能正确履行责任？
法规原文
以下保留办法原文用于核对；AI标识和算法治理还需核对后续专项规定。
查看法规原文
第一章 总 则
- 第一条 为了促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益，根据《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《中华人民共和国科学技术进步法》等法律、行政法规，制定本办法。
- 第二条 利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务（以下称生成式人工智能服务），适用本办法。
- 国家对利用生成式人工智能服务从事新闻出版、影视制作、文艺创作等活动另有规定的，从其规定。
- 行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等研发、应用生成式人工智能技术，未向境内公众提供生成式人工智能服务的，不适用本办法的规定。
- 第三条 国家坚持发展和安全并重、促进创新和依法治理相结合的原则，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管。
- 第四条 提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，遵守以下规定：
- （一）坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容；
- （二）在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；
- （三）尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；
- （四）尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；
- （五）基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。
第二章 技术发展与治理
- 第五条 鼓励生成式人工智能技术在各行业、各领域的创新应用，生成积极健康、向上向善的优质内容，探索优化应用场景，构建应用生态体系。
- 支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作。
- 第六条 鼓励生成式人工智能算法、框架、芯片及配套软件平台等基础技术的自主创新，平等互利开展国际交流与合作，参与生成式人工智能相关国际规则制定。
- 推动生成式人工智能基础设施和公共训练数据资源平台建设。促进算力资源协同共享，提升算力资源利用效能。推动公共数据分类分级有序开放，扩展高质量的公共训练数据资源。鼓励采用安全可信的芯片、软件、工具、算力和数据资源。
- 第七条 生成式人工智能服务提供者（以下称提供者）应当依法开展预训练、优化训练等训练数据处理活动，遵守以下规定：
- （一）使用具有合法来源的数据和基础模型；
- （二）涉及知识产权的，不得侵害他人依法享有的知识产权；
- （三）涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形；
- （四）采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性；
- （五）《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》等法律、行政法规的其他有关规定和有关主管部门的相关监管要求。
- 第八条 在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升尊法守法意识，监督指导标注人员规范开展标注工作。
第三章 服务规范
- 第九条 提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。
- 提供者应当与注册其服务的生成式人工智能服务使用者（以下称使用者）签订服务协议，明确双方权利义务。
- 第十条 提供者应当明确并公开其服务的适用人群、场合、用途，指导使用者科学理性认识和依法使用生成式人工智能技术，采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。
- 第十一条 提供者对使用者的输入信息和使用记录应当依法履行保护义务，不得收集非必要个人信息，不得非法留存能够识别使用者身份的输入信息和使用记录，不得非法向他人提供使用者的输入信息和使用记录。
- 提供者应当依法及时受理和处理个人关于查阅、复制、更正、补充、删除其个人信息等的请求。
- 第十二条 提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。
- 第十三条 提供者应当在其服务过程中，提供安全、稳定、持续的服务，保障用户正常使用。
- 第十四条 提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。
- 提供者发现使用者利用生成式人工智能服务从事违法活动的，应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。
- 第十五条 提供者应当建立健全投诉、举报机制，设置便捷的投诉、举报入口，公布处理流程和反馈时限，及时受理、处理公众投诉举报并反馈处理结果。
第四章 监督检查和法律责任
- 第十六条 网信、发展改革、教育、科技、工业和信息化、公安、广播电视、新闻出版等部门，依据各自职责依法加强对生成式人工智能服务的管理。
- 国家有关主管部门针对生成式人工智能技术特点及其在有关行业和领域的服务应用，完善与创新发展相适应的科学监管方式，制定相应的分类分级监管规则或者指引。
- 第十七条 提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。
- 第十八条 使用者发现生成式人工智能服务不符合法律、行政法规和本办法规定的，有权向有关主管部门投诉、举报。
- 第十九条 有关主管部门依据职责对生成式人工智能服务开展监督检查，提供者应当依法予以配合，按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明，并提供必要的技术、数据等支持和协助。
- 参与生成式人工智能服务安全评估和监督检查的相关机构和人员对在履行职责中知悉的国家秘密、商业秘密、个人隐私和个人信息应当依法予以保密，不得泄露或者非法向他人提供。
- 第二十条 对来源于中华人民共和国境外向境内提供生成式人工智能服务不符合法律、行政法规和本办法规定的，国家网信部门应当通知有关机构采取技术措施和其他必要措施予以处置。
- 第二十一条 提供者违反本办法规定的，由有关主管部门依照《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《中华人民共和国科学技术进步法》等法律、行政法规的规定予以处罚；法律、行政法规没有规定的，由有关主管部门依据职责予以警告、通报批评，责令限期改正；拒不改正或者情节严重的，责令暂停提供相关服务。
- 构成违反治安管理行为的，依法给予治安管理处罚；构成犯罪的，依法追究刑事责任。
第五章 附 则
- 第二十二条 本办法下列用语的含义是：
- （一）生成式人工智能技术，是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。
- （二）生成式人工智能服务提供者，是指利用生成式人工智能技术提供生成式人工智能服务（包括通过提供可编程接口等方式提供生成式人工智能服务）的组织、个人。
- （三）生成式人工智能服务使用者，是指使用生成式人工智能服务生成内容的组织、个人。
- 第二十三条 法律、行政法规规定提供生成式人工智能服务应当取得相关行政许可的，提供者应当依法取得许可。
- 外商投资生成式人工智能服务，应当符合外商投资相关法律、行政法规的规定。
- 第二十四条 本办法自2023年8月15日起施行。
- 工业和信息化部发布