AI 基础认知

AI 安全和 AI 赋能安全都从一个基础问题开始：模型为什么会这样回答，又是什么让它从回答走向行动？

要回答这个问题，不能只记住几个产品名或提示词技巧。需要沿着一条完整链路理解 AI：模型如何从训练数据中获得生成能力，当前上下文如何改变输出，哪些能力在不同任务中会失效，Agent 又如何通过工具和反馈把一次生成接入现实系统。

先理解模型如何获得能力

LLM 的技术演进主线从文字表示、Attention、Transformer、预训练、后训练、检索、工具和推理时计算讲起；模型训练与推理再把训练数据、损失函数、参数更新、Logits、解码和推理成本串成一次完整运行。读完后，应该能解释模型为什么能完成问答、写代码和格式转换，也能说清楚训练数据、目标函数和推理过程为什么不能保证事实正确。

这里的关键判断是：模型输出是基于上下文生成的候选结果。它可以表现出知识整合和推理能力，可靠性仍然需要来源、计算、测试或业务规则来确认。

再理解一次运行如何形成

上下文工程研究一次模型调用实际放入了什么：系统规则、用户任务、示例、检索内容、记忆、工具定义和此前的观察。上下文不是一段越长越好的文字，而是一个会影响模型判断的信息结构。

读完后，应该能判断一份资料为什么会改变模型的回答，为什么旧记忆可能污染新任务，为什么外部文本必须保留来源和信任等级，以及为什么上下文中的信息不能自行获得系统权限。

再划出能力边界

模型能力边界把幻觉、推理失败、知识陈旧、长上下文失效、提示敏感性和过度自信放回具体任务中观察；AI 评测与实验方法把这些失效转成任务集、基线、指标、实验记录和失败归因。文章不提供脱离任务环境的“模型能做什么”清单，而是教读者根据任务、输入、模型版本和验证成本建立自己的测试。

读完后，应该能区分生成质量、事实正确、任务完成和现实副作用四个问题，并知道哪些结果可以快速验证，哪些结果必须交给外部系统或人来判断。

最后理解 Agent 如何行动

Agent 架构基础连接状态、上下文、规划、工具、验证、恢复和停止条件；需要动手构建时，进入Agent 与工具工程，继续学习 ReAct、Plan-and-Execute、Loop、Harness、MCP 和持续优化。

读完后，应该能把一个 Agent 拆成可观察的行动循环：模型提出行动请求，宿主校验和授权，工具产生未验证观察，状态系统保存事实，验证器判断是否完成，控制器决定继续、恢复、暂停或交还给人。

这些内容构成一条学习顺序：模型如何训练和生成 → 上下文如何影响 → 能力在哪里失效 → 如何设计评测 → Agent 如何把生成接入行动。 掌握这条链，再进入 AI 系统安全研究被保护的对象，进入 AI 赋能安全研究如何用 AI 做安全工作。