智能工程
假设你让一个 Agent 调查一批可疑登录:它读取日志,检索内部知识库,写查询语句,调用安全平台,再提出封禁某个 IP 的建议。每一步看起来都像合理的助手行为,但真正决定结果的细节藏在行动链里:日志是谁写入的,检索内容是否可信,模型为什么选择这个查询,封禁操作需要什么权限,Agent 如何知道任务已经完成,出错后能否撤销。
这就是智能工程要建立的视角。AI 不只是一段生成文字的模型,而是由模型、上下文、记忆、规划、工具、状态和反馈组成的系统。只有理解这些部分如何连接,才能判断一次输出为什么产生,知道哪些地方需要验证,也才能看见一个 Agent 如何从“提出建议”走到“改变现实”。
智能工程是人工智能安全的基础层,也是 AI 赋能安全的技术前提。安全团队要保护 AI 系统,先得理解它的输入、推理和行动;要用 AI 发现漏洞、分析告警或执行授权测试,也得知道它的能力边界、失败方式和验证方法。后续的安全控制与攻防实践,都建立在这套基础理解之上。
从模型到行动链
AI 基础认知从四个问题开始:模型能力如何形成,模型为什么能够回答问题,一次运行需要什么上下文,Agent 怎样从回答走向行动。
首先要理解模型如何训练。预训练让模型从大量文本和其他数据中学习语言、代码、概念之间的统计关系;指令微调和偏好训练再把这种能力塑造成更愿意遵循任务要求的行为。模型因此获得了生成和推理的能力,但训练语料、优化目标和参数本身都不能保证某个回答在当前任务中真实、完整或适用。
还要理解模型为什么能回答问题。一次回答本质上是模型根据当前上下文,逐步计算下一个 token 的可能性,再把生成结果继续放回上下文中完成后续生成。问题、示例、检索内容、记忆、系统指令和工具结果都会改变这个条件分布,所以同一个模型在不同上下文里可能给出完全不同的答案。流畅来自生成能力,事实可靠性需要来源、计算、测试或其他外部验证。
工具调用发生在模型之外。模型根据上下文提出结构化的工具名称和参数,Host 或编排器负责检查 Schema、身份、权限、审批和预算,之后才真正执行 API、数据库查询或文件操作,再把结果作为新的上下文交回模型。模型可以提出一次行动,执行权仍然属于模型外的系统;理解这条边界,才能分析 Agent 为什么会越权,以及控制应该放在哪里。
MCP 进一步约定了模型应用连接外部能力的方式。MCP 的 Host 创建并管理 Client,每个 Client 与一个 Server 建立隔离的会话;Server 通过协议暴露 tools、resources 和 prompts,消息使用 JSON-RPC,可通过 stdio 或 Streamable HTTP 传输。MCP 解决的是能力发现、连接和消息交换的互操作问题,Server 能提供什么、模型能调用什么,以及调用是否需要人工确认,仍由 Host 的权限和安全策略决定。理解 MCP 的实现方式,才能继续判断一个外部 Server 把哪些数据和行动带进了 Agent。
模型、上下文、记忆、规划、工具和反馈由此形成一条行动链。把这些部分拆开,才能区分“模型说得通”与“系统做得对”,也才能设计出可检查的边界。
在 Agent 与工具工程中验证理解
Agent 与工具工程把原理推进到行动系统,重点理解 Agent 的循环、状态、工具、MCP、Harness、计划、反馈和恢复。实践的单位不是一次漂亮回答,而是一项有目标、有输入、有行动限制、有验收标准的工作。
一个可复用的方法应当交代任务要交付什么,模型需要哪些信息,可以调用哪些工具,哪些动作必须暂停,以及如何用原始资料、测试、差异、对账或真实试用检查结果。Agent 与工具工程中的 Harness、Loop、ReAct、Plan-and-Execute 和 Skill 文章,都在回答同一个问题:怎样让模型的能力在外部反馈和工程约束下持续产生可信结果。
把能力用于具体任务
AI 应用实践把这些原理放进研究、编程、知识管理、图片生成、模型接入和日常任务。模型接入、商业服务、本地部署和 AI 编程都属于应用层,用来检验基础原理能否在真实环境中稳定工作。
AI 应用与组织讨论技术进入个人、组织和真实项目后,任务、责任、协作和判断如何变化。这里的内容用于检验方法的迁移性:模型演示可以展示局部能力,真实价值要看完整任务是否变快、结果是否可靠、失败是否可回退,以及人的判断是否仍然在正确的位置。
这套基础如何进入安全工作
当你理解了模型、上下文和 Agent 的行动链,AI 系统安全中的问题会变得具体:不可信内容怎样进入上下文,模型制品如何影响运行结果,工具权限在哪里被授予,隐私和数据血缘如何约束一次运行,评测环境与生产系统怎样保持一致。
当你掌握了 Agent 的规划、执行、反馈和验收,AI 赋能安全中的问题也会变得可检验:漏洞研究是否提出了有效假设,自动化攻防是否在授权范围内行动,安全报告是否有独立证据,模型何时应该停止并交还给人。
当你看懂了工具、状态和反馈如何组成行动闭环,AI 滥用防御才能进一步分析攻击者如何用 AI 降低试错成本、扩大攻击规模,以及防守方应该在哪个环节切断放大效应。
这个目录里的文章按学习和实践任务归档:模型和上下文原理进入 AI 基础认知,Agent、工具和 MCP 进入 Agent 与工具工程,具体任务方法进入 AI 应用实践,组织和项目经验进入 AI 应用与组织。它们共同完成一件事:让读者从会调用一个模型,走到看得懂一个 AI 系统,并有能力继续研究它的安全边界与安全应用。