模型能力边界

模型能力没有一条固定的“能”与“不能”的分界线。结果会随着任务、输入、上下文、模型版本、工具和验证方式变化。真正有用的问题是：这项任务要求模型完成哪种判断，失败会造成什么后果，外部系统能否在行动发生前发现错误。

生成结果不等于事实

语言模型主要根据训练过的模式和当前上下文生成后续 token。它的目标是形成符合条件的输出，训练过程并没有给每个现实陈述附上一份持续更新的事实证明。TruthfulQA展示了模型在需要辨别常见误解的问答中仍会生成看似可信的错误回答。因此，模型可能给出流畅、完整、引用格式正确却不真实的回答。

幻觉至少有三种常见形式：事实错误，引用或来源不存在，声称完成了实际没有执行的动作。检索、工具和结构化输出可以降低部分风险，但它们也可能带来旧数据、错误参数或未验证观察。关键事实仍要回到原始来源、可执行测试、权威状态或人工判断。

模型可以在上下文中组合信息，生成看起来像推理的中间步骤。这种能力在熟悉、可验证的任务上很有用，遇到新组合、隐藏条件或长链依赖时却容易失效。模型可能在前面做出一个小错误，随后沿着这个错误继续生成一整套自洽解释。

规划任务还需要保持状态、依赖和完成条件。模型提出一个计划，不代表它掌握了权威状态；模型说“已经完成”，也不代表外部目标已经达成。长任务应当把步骤写入状态，用测试、业务规则或人工审批逐步验收，而不是让模型自己宣布成功。

参数化知识来自训练数据，覆盖广泛但可能过时、遗漏或失真；检索式知识来自外部系统，可以更新并保留来源，但依赖召回、切分、排序和权限控制。两者结合能扩大可用范围，也会增加新的失败点：检索到旧规则、混入不相关片段，或把不可信文本当成权威指令。

需要最新政策、内部数据、订单状态或具体代码时，应优先接入有来源和权限边界的外部信息。模型对外部资料的总结仍然需要检查，外部资料也只能提供事实候选，不能自行授予工具权限。

同一个模型面对不同的系统提示、示例、历史对话和检索内容，可能给出不同答案。长上下文还可能出现关键信息被忽略的问题；Lost in the Middle研究记录了关键信息位于长输入中间时的性能下降。输入顺序、信息位置和冗余内容都会影响可用性，窗口的名义长度不能代表模型真正能稳定利用的长度。

提示敏感性意味着 Prompt 是任务接口，需要通过固定输入、代表性样本和重复运行测试，而不能只凭一次成功演示判断可靠性。上下文工程的具体方法见上下文工程。

模型的语气不是可靠的置信度。它可能把记忆、推断和猜测用相同的肯定语气表达，也可能在用户坚持错误前提时顺着用户修改原本较好的判断；关于模型迎合性的研究记录了这种现象。对高影响任务，不能用“听起来很确定”替代证据。

可以要求模型列出依据、指出缺失信息和提出待验证假设，但这些仍然是模型生成的内容。真正的校准来自外部结果：来源是否存在，代码能否运行，数据能否对账，业务状态是否满足，审批人是否确认。

模型通常适合做流畅生成、格式转换、信息提取、候选方案整理和有充分上下文的代码辅助。多步约束满足、冷门事实、精确计算、长链规划、空间关系和高后果判断，需要额外工具或独立验证。

推理时增加计算预算，在数学、代码和其他有明确验证器的任务中更容易产生收益；开放式写作、价值判断和缺乏可靠验证器的任务，生成更多内容不等于结论更可靠。模型能力评测应绑定具体版本、任务分布、上下文、工具和验收标准。

一次最小评测至少要记录：任务输入，期望结果，允许和禁止的行动，模型版本，工具与数据版本，失败类型，外部验证结果，以及人工介入点。基准分数可以帮助比较，不能替代在真实任务上的测试。

模型适合提出候选，系统负责保存状态、校验参数、执行权限、验证结果和处理副作用。任务越难验证、行动越不可逆、失败成本越高，模型就越不应该直接拥有最终执行权。

这也是理解 Agent 安全的起点：模型输出是行动请求，工具结果是未验证观察，权威状态来自模型外的系统，成功由完成标准证明。继续学习这些机制，进入 Agent 与工具工程；涉及提示注入、工具越权、数据污染和现实副作用时，进入 AI 系统安全。