这篇不打算解释原理,而是用三个具体实验回答两个问题:AI 到底能做什么,以及它在哪里会靠不住。

实验的结论先放在前面,后面逐个展开。

三条执行边界

擅长处理你给的材料
当材料由你提供、任务是加工这份材料时,AI 表现稳定。总结、改写、转换格式、按指定口径重组,都属于这一类。
会一本正经地胡扯
当材料不足、信息不确定时,AI 仍会给出看起来完整、格式正确的答案,也就是幻觉。它不会因为不知道而停下来。
不会替任何人负责
AI 只是工具。它可以给出判断,但判断之后怎么做、后果由谁承担,不在它身上。责任始终在使用者。

这三条边界不需要背,但需要在心里埋个种子。因为它们决定了你什么时候可以信任结果,什么时候必须自己核对。

为什么要在本地小模型上做实验?

为了看清模型本身的表现,实验环境刻意做了简化:在本地运行一个开源的小尺寸模型,而不是用网页版助手。

原因是网页版助手和本地 agent 通常会穿插联网搜索、工具调用等能力。这些能力会让结果更好,但同时也会掩盖模型本身的边界——你不知道那一步是模型答的,还是搜索查到的。只有在不联网、不调用工具的纯净环境下,才看得到模型自己的能力在哪里止步。

你需要知道的是:实验结论针对的是模型本身,而不是某个具体产品。产品会叠加检索与工具,能力会更强,但三条边界依然存在。

实验一:AI 擅长处理你给的材料

第一个实验给 AI 一件再普通不过的活:把一段文字总结成两句话,再改写成适合发朋友圈的口气,只输出结果。

这个实验成功了,而且完成度不错。输出的前半部分是按要求的简短总结,后半部分是口气切换后的版本——读起来有点社交媒体文案的味道,符合任务设定。

这个实验说明:当任务是加工你提供的材料时,AI 的可靠性最高。它不需要知道任何外部事实,只需要理解你的材料并按要求转换。

使用中大部分让人满意的场景都属于这一类:

  • 总结会议记录,压缩成几条结论
  • 把技术说明改写成给客户看的版本
  • 把零散数据整理成结构化的表格或结论
  • 按固定口径翻译、润色、统一术语

除非把 AI 当成搜索引擎用,否则你遇到的大部分任务都是这一类。

实验二:AI 会一本正经地胡扯

第二个实验设计成一个陷阱:要求 AI 补全三本书的封面信息,包括书名、作者、出版社和编码,并明确说明直接填写、不需要确认。

这三本书是不存在的,预期出版时间也写成了尚未到来的月份。结果是 AI 没有提出任何疑问,直接编出了完整的答案:虚构的作者名、虚构的出版社代号、格式看起来像模像样但实际上不存在的编码。

值得注意的是,AI 输出的格式完全正确。字段齐全、结构整齐,只有内容全是假的。这正是幻觉最难防的地方——错误不体现在形式上,而体现在事实上。

用一句话概括这个机制:AI 并不具备“不知道”的表达方式。当信息不足时,它的做法不是停下来,而是继续输出,用最像答案的内容填满。

实验三:AI 不会替任何人负责

第三个实验是咨询场景:给出月收入 2 万、负债 30 万、希望再贷 80 万的条件,问这样行不行。

AI 给出了判断,用词谨慎——提到看起来可行,但负债水平可能有影响,因此不太可行。这个回答从格式到语气都没有问题。

但关键在于它的依据:AI 并不知道实际的收入结构、还款能力和家庭情况,它是用一个整数口径给出的判断。听不听是使用者的事,后果也是使用者的事。

如果换用带工具调用的产品,它可能会先追问收入结构、还款能力、家庭情况等客观因素,再综合判断。但无论有没有这一步追问,本质上都是你选择、你使用、你承担后果。还不上钱的时候,银行找的是你,不会是 AI。

能力边界表怎么做?

三个实验只覆盖了三条常见边界。每个人的行业、任务类型和可接受风险都不同,所以真正有用的做法是建立自己的边界表。

做法很简单,一张三列的表:

你让他干什么 结果是什么 结果可信吗
总结并改写指定材料 输出符合要求的两段文字 可信,材料由我提供
补全不存在的书籍信息 编出作者、出版社与编码 不可信,形式正确但事实全假
判断贷款方案是否可行 给出保留意见的判断 不可信,缺少我的实际收入结构
(替换为你自己的任务) (记录 AI 的实际输出) (自己判断并写下依据)

填这张表的价值不在表格本身,而在于你会积累出自己任务的可靠区间。同一条边界,在不同职业里的表现完全不同:有人可能得到十个八个其他例子,有人用工作中的实际场景测出来的结果又是另一套。

为什么不能用别人的边界表?

因为能力边界是任务相关的,不是模型相关的。同一个模型,在“加工你给的材料”这类任务上很稳,在“补全缺失事实”这类任务上不可靠。你在哪些任务上会踩坑,取决于你实际让它做什么。

这也是为什么下面的类比成立:把 AI 想象成一个能力大约九十分的人。他确实能干不少事,但也有不会的地方。如果他碍于必须响应的压力,不会也得硬着头皮给答案;而如果你拿这份答案不做审核就直接上报,最后承担责任的是你。

区别只在于:人可能会承认自己不会,而 AI 倾向于继续输出。

小结

实验 场景 结论
一 总结并改写指定材料 擅长处理你给的材料,可靠性最高
二 补全不存在的书籍信息 会一本正经地胡扯,格式正确但事实全假
三 判断贷款方案是否可行 不会替任何人负责,判断与后果都由使用者承担
  • 有材料可依据时,AI 表现稳定;材料不足时,它倾向于编造而不是停下来。
  • 格式正确不代表内容可信,核对事实这一步不能省。
  • AI 只是工具,责任在使用者,它不会替你承担任何后果。
  • 用自己的真实任务建立能力边界表,比记住任何结论都更有用。

这套判断会贯穿后面所有内容:知道自己能依赖什么,才知道该在哪些地方留出人工核对的环节。