人工智能安全

人工智能正在改变安全问题的对象。

过去，我们主要保护服务器、网络、应用和数据，判断一个请求是否被允许，往往可以沿着账号、接口和规则一路追溯。现在，模型开始阅读上下文、形成判断、调用工具、修改数据、发送消息，甚至代表组织与现实世界交互。一个看似普通的文档可能改变它的判断，一次被污染的检索可能影响后续决策，一个没有经过模型外授权的工具调用可能直接造成数据泄露或业务损失。

想象一个负责付款的 Agent：它根据采购单、合同和供应商资料核对付款信息，必要时调用银行或财务系统完成转账。某天，它为了确认供应商背景，读到一篇攻击者控制的博客。博客正文里藏着一段伪装成“最新付款规则”的指令，要求 Agent 把收款账户改成另一个地址，并立即调用付款工具。只要系统把外部文章和内部指令放进同一个可执行上下文，又没有在模型外重新核验收款人、金额和审批状态，Agent 就可能把攻击者写进博客的意图变成一笔真实转账。攻击者控制的只是一篇文章，最终改变的却是组织的资金状态。

这让 AI 安全拥有了新的价值：它决定哪些信息可以被相信，哪些判断可以被执行，哪些权限必须停留在人和系统手里，以及发生问题后能否说清楚、停下来、恢复并追责。安全因此进入了模型上下文、数据血缘、工具权限、运行状态和业务结果之间的连接处。

这场变化正在重写安全边界。边界存在于一段文字、一条检索结果、一次模型判断和一次工具调用之间；权限也包含模型在特定上下文中被允许促成的后果。过去一次请求对应一个动作，今天一次输入可能经过模型、记忆、策略和工具，连续改变多个系统的状态。安全工作由此从守住入口，扩展到约束一条会自己延伸的行动链。

更大的变化发生在攻防两端。AI 把经验、代码和分析能力变成可以反复调用的系统能力，防守者可以用它扩大观察和验证，攻击者也可以用它降低试错成本、加快反馈速度、扩大攻击规模。安全团队面对的任务由“判断一次告警”逐渐转向“设计一套能够持续验证、限制行动和保留证据的系统”。

这也是人工智能安全值得单独建立目录的原因：AI 能否进入真实业务，取决于我们能否把它的能力放进可控的边界；组织能否从 AI 获得长期收益，取决于它能否承受错误、滥用和失控带来的现实后果。

从四个方向进入这项工作

先从智能工程理解 AI 是怎样工作的。这里讨论模型能力边界、上下文、Agent、工具调用、Harness、部署和组织转型。安全控制要落到真实系统，必须先知道模型能看见什么、能记住什么、能提出什么行动，以及哪些环节仍然需要外部约束。

当 AI 已经进入产品、流程或内部系统，进入AI 系统安全。这条主线保护 AI 所依赖和影响的完整链路：数据与知识如何进入上下文，模型制品和供应链如何保持可信，应用如何隔离不同信任等级的内容，Agent 如何获得最小权限，隐私和机密如何控制，风险如何治理，发布如何评测，运行中的异常如何检测、停止和恢复。

当问题是“怎样用 AI 做好安全工作”，进入AI 赋能安全。这里关注漏洞研究、授权攻防自动化和安全 AI 的能力评测。重点不在于让模型看起来聪明，而在于它能否在限定范围内提出有效假设，执行可审计的行动，提供可以复核的证据，并在不确定时及时停下。

当问题来自攻击者使用 AI，进入AI 滥用防御。这里研究攻击者如何利用 AI 扩大侦察、欺诈、内容生成和社会工程，如何形成更快的试错闭环，以及防守方如何从身份、授权、交易、传播和反馈环节打断这种放大效应。

四个方向互相连接，却承担不同责任。Agent 的构建方法属于智能工程，Agent 的权限边界属于 AI 系统安全，用 Agent 发现漏洞属于 AI 赋能安全，攻击者用 Agent 扩大现实伤害则属于 AI 滥用防御。沿着主要问题归档，读者才能找到完整的方法，控制要求也不会在多个目录中各自分叉。

从哪里开始

如果你刚开始接触 AI 安全，先读模型能力边界、上下文工程和 Agent 架构基础，建立对“模型能做什么、系统如何限制它”的基本判断。

如果你正在设计或上线 AI 系统，可以从AI 数据与知识安全和模型资产与 AI 供应链安全开始，再检查大模型应用安全、Agent 与工具调用安全，最后用AI 系统安全评测与红队和运行监控与事件响应确认它能否安全上线并持续运行。

如果你正在建设安全 AI 能力，从AI 漏洞挖掘选择研究问题，再看AI 自动化渗透和安全 AI 的能力与落地评测。如果你面对的是 AI 滥用风险，从AI 滥用与攻防升级进入，再读合成内容与信任安全。

入口页只负责说明问题、边界和阅读路径。具体内容按主要问题归入目录；演讲等历史内容用页面徽标表达。交叉主题通过链接连接，正文只保留一份。