AI 洗脑

向 AI 询问一个自己不熟悉的问题，它很快就能给出完整解释：背景清楚、论证连贯、语气确定，甚至主动列出注意事项。需要警惕的时刻出现在这里：答案读起来已经足够像结论，我便不想再核查了。

Anthony Aguirre 在 2026 年 6 月发布的 An extremely subtle brainwashing 中，把这种变化称为一种非常隐蔽的“洗脑”。他关注的是长期机制：即使某一句回答没有故意欺骗，人们持续依赖少数 AI 系统后，也可能逐渐把“什么值得相信”的判定过程交给它们。

下面的三层风险是我对原文的整理，不是 Aguirre 的直接引语。我的行动规则也单独列出，避免把个人选择写成他的原意。

流畅回答为什么容易越过核查

语言模型的基础训练通常从预测下一个 token 开始，后训练再加入指令示范、偏好与安全信号。这些目标可以让回答更连贯、更符合要求，却不会自动验证每句话是否符合现实。模型仍可能使用过时信息、误解上下文，或者补出并不存在的细节，具体机制见模型能力边界。

问题出在阅读成本的不对称。接受一段完整答案只需几分钟；打开原始资料、核对时间和适用范围，往往需要更久。回答越顺，读者越容易把“我读懂了”误当成“它已经被证明”。

因此，语气和结构只能证明这段文字易于阅读。事实是否成立，还需要独立证据。

三层风险如何叠加

目标层：生成高概率文本。 模型擅长根据上下文生成合适的后续内容。“在这段语境中常见”与“在现实中成立”是两种判断。没有检索、工具或外部验证时，两者很容易被混在一起。

呈现层：隐藏知识形成过程。 研究、调查和公共讨论通常包含冲突、修正与未决问题。AI 回答会把这些材料压缩成一条连贯叙述。压缩方便理解，也可能抹掉证据强弱、少数意见和仍然未知的部分。

制度层：集中问题的解释权。 当许多人长期使用相同系统、相似默认提示和少数数据来源，同一种问题框架会被反复放大。此时风险已经超出单个事实错误，延伸到哪些问题被提出、哪些来源被看见、哪些价值被默认。

三层叠加后，用户得到的不只是一个可能出错的答案，还可能得到一套未经察觉的判断框架。

哪些问题不能停在一次回答

我会在以下情况把 AI 输出降级为“待核查草稿”：

• 结论依赖当前政策、价格、产品能力或实时数据。
• 回答引用研究、法规、人物观点或具体数字。
• 决策会影响健康、财务、法律责任、工作机会或他人权益。
• 行动不可轻易撤回，例如公开发布、付款、删除数据或修改生产系统。
• 问题包含价值排序，最终答案取决于我愿意承担什么代价。

低风险任务可以直接使用，例如改写一段已经确认的文字、整理格式或生成备选标题。风险来自结论错误时的损失，不取决于回答看起来有多专业。

我的五步核查方法

第一步：拆开主张与证据。 要求 AI 把可验证事实、机制解释、推测和建议分开。分类本身仍可能出错，但它能暴露哪些句子需要继续查。

第二步：定位原始来源。 打开论文、法规、官方文档或一手披露，核对作者、发布日期、原文措辞和适用范围。搜索摘要、AI 引用和二手文章只用来找入口。

第三步：主动寻找反例。 询问结论在什么条件下失效，再从独立来源验证这些条件。AI 给出的反例仍是待核查线索，不能给自己的回答作证。

第四步：让高影响结论接受第二条证据链。 第二条证据应有独立来源或独立方法。多个页面复述同一篇报道，只算一条证据链。

第五步：记录最终责任。 对外发布或执行前，写清由谁批准、依据什么、哪些不确定性仍被接受。AI 可以参与准备材料，不能承担责任。

这套方法与 Chat 与 Research 的升级条件一致：问题一旦依赖当前事实、多个来源或高影响判断，就进入可追溯的研究流程。

把 AI 放在合适的位置

接入联网搜索或本地检索工具的 AI 系统，可以帮助扩大视野：寻找候选资料、比较不同解释、整理争议、提出反例、检查论证缺口。Aguirre 在 原文中提到 Community Notes 和 Epistack 一类方向，重点是用技术支持多人参与的判定过程，让来源、分歧和修正保持可见。

我的边界很具体：AI 可以帮助我更快看到证据，最终判断仍要回到原始资料、现实反馈和承担责任的人。每次直接采用一段未经核查的高影响结论，都在训练自己减少一次判断；每次追到证据和边界，也在训练自己保留判断能力。