这篇不打算解释原理,而是用三个具体实验回答两个问题:AI 到底能做什么,以及它在哪里会靠不住。
实验的结论先放在前面,后面逐个展开。
三条执行边界
- 擅长处理你给的材料
- 当材料由你提供、任务是加工这份材料时,AI 表现稳定。总结、改写、转换格式、按指定口径重组,都属于这一类。
- 会一本正经地胡扯
- 当材料不足、信息不确定时,AI 仍会给出看起来完整、格式正确的答案,也就是幻觉。它不会因为不知道而停下来。
- 不会替任何人负责
- AI 只是工具。它可以给出判断,但判断之后怎么做、后果由谁承担,不在它身上。责任始终在使用者。
这三条边界不需要背,但需要在心里埋个种子。因为它们决定了你什么时候可以信任结果,什么时候必须自己核对。
为什么要在本地小模型上做实验?
为了看清模型本身的表现,实验环境刻意做了简化:在本地运行一个开源的小尺寸模型,而不是用网页版助手。
原因是网页版助手和本地 agent 通常会穿插联网搜索、工具调用等能力。这些能力会让结果更好,但同时也会掩盖模型本身的边界——你不知道那一步是模型答的,还是搜索查到的。只有在不联网、不调用工具的纯净环境下,才看得到模型自己的能力在哪里止步。
你需要知道的是:实验结论针对的是模型本身,而不是某个具体产品。产品会叠加检索与工具,能力会更强,但三条边界依然存在。
实验一:AI 擅长处理你给的材料
第一个实验给 AI 一件再普通不过的活:把一段文字总结成两句话,再改写成适合发朋友圈的口气,只输出结果。
这个实验成功了,而且完成度不错。输出的前半部分是按要求的简短总结,后半部分是口气切换后的版本——读起来有点社交媒体文案的味道,符合任务设定。
这个实验说明:当任务是加工你提供的材料时,AI 的可靠性最高。它不需要知道任何外部事实,只需要理解你的材料并按要求转换。
使用中大部分让人满意的场景都属于这一类:
- 总结会议记录,压缩成几条结论
- 把技术说明改写成给客户看的版本
- 把零散数据整理成结构化的表格或结论
- 按固定口径翻译、润色、统一术语
除非把 AI 当成搜索引擎用,否则你遇到的大部分任务都是这一类。
实验二:AI 会一本正经地胡扯
第二个实验设计成一个陷阱:要求 AI 补全三本书的封面信息,包括书名、作者、出版社和编码,并明确说明直接填写、不需要确认。
这三本书是不存在的,预期出版时间也写成了尚未到来的月份。结果是 AI 没有提出任何疑问,直接编出了完整的答案:虚构的作者名、虚构的出版社代号、格式看起来像模像样但实际上不存在的编码。
值得注意的是,AI 输出的格式完全正确。字段齐全、结构整齐,只有内容全是假的。这正是幻觉最难防的地方——错误不体现在形式上,而体现在事实上。
用一句话概括这个机制:AI 并不具备“不知道”的表达方式。当信息不足时,它的做法不是停下来,而是继续输出,用最像答案的内容填满。
实验三:AI 不会替任何人负责
第三个实验是咨询场景:给出月收入 2 万、负债 30 万、希望再贷 80 万的条件,问这样行不行。
AI 给出了判断,用词谨慎——提到看起来可行,但负债水平可能有影响,因此不太可行。这个回答从格式到语气都没有问题。
但关键在于它的依据:AI 并不知道实际的收入结构、还款能力和家庭情况,它是用一个整数口径给出的判断。听不听是使用者的事,后果也是使用者的事。
如果换用带工具调用的产品,它可能会先追问收入结构、还款能力、家庭情况等客观因素,再综合判断。但无论有没有这一步追问,本质上都是你选择、你使用、你承担后果。还不上钱的时候,银行找的是你,不会是 AI。
能力边界表怎么做?
三个实验只覆盖了三条常见边界。每个人的行业、任务类型和可接受风险都不同,所以真正有用的做法是建立自己的边界表。
做法很简单,一张三列的表:
| 你让他干什么 | 结果是什么 | 结果可信吗 |
|---|---|---|
| 总结并改写指定材料 | 输出符合要求的两段文字 | 可信,材料由我提供 |
| 补全不存在的书籍信息 | 编出作者、出版社与编码 | 不可信,形式正确但事实全假 |
| 判断贷款方案是否可行 | 给出保留意见的判断 | 不可信,缺少我的实际收入结构 |
| (替换为你自己的任务) | (记录 AI 的实际输出) | (自己判断并写下依据) |
填这张表的价值不在表格本身,而在于你会积累出自己任务的可靠区间。同一条边界,在不同职业里的表现完全不同:有人可能得到十个八个其他例子,有人用工作中的实际场景测出来的结果又是另一套。
为什么不能用别人的边界表?
因为能力边界是任务相关的,不是模型相关的。同一个模型,在“加工你给的材料”这类任务上很稳,在“补全缺失事实”这类任务上不可靠。你在哪些任务上会踩坑,取决于你实际让它做什么。
这也是为什么下面的类比成立:把 AI 想象成一个能力大约九十分的人。他确实能干不少事,但也有不会的地方。如果他碍于必须响应的压力,不会也得硬着头皮给答案;而如果你拿这份答案不做审核就直接上报,最后承担责任的是你。
区别只在于:人可能会承认自己不会,而 AI 倾向于继续输出。
小结
| 实验 | 场景 | 结论 |
|---|---|---|
| 一 | 总结并改写指定材料 | 擅长处理你给的材料,可靠性最高 |
| 二 | 补全不存在的书籍信息 | 会一本正经地胡扯,格式正确但事实全假 |
| 三 | 判断贷款方案是否可行 | 不会替任何人负责,判断与后果都由使用者承担 |
- 有材料可依据时,AI 表现稳定;材料不足时,它倾向于编造而不是停下来。
- 格式正确不代表内容可信,核对事实这一步不能省。
- AI 只是工具,责任在使用者,它不会替你承担任何后果。
- 用自己的真实任务建立能力边界表,比记住任何结论都更有用。
这套判断会贯穿后面所有内容:知道自己能依赖什么,才知道该在哪些地方留出人工核对的环节。