AI 试点总在演示时成功、上线时失灵:先回答这三个问题

演示成功和上线成功，是两回事

演示环境里数据干净、流程固定、出错没代价；真实业务里输入乱、条件多、错误有后果。把演示结论直接外推到生产，是试点失灵最常见的起点。

我们先把判断前置：上线前回答下面三个问题。

二

第一个问题：这个任务落在模型能力边界的哪一边

模型的能力边界不是按岗位或主观难度平滑分布的，而是锯齿状的——一个复杂任务可能在边界内，一个看似简单的任务反而在边界外。BCG 与哈佛商学院对 758 名顾问的实验显示，同一模型在创意表达任务上显著提效，在相邻的业务判断任务上却把正确率从 84.5% 拉低到约 60%。

做法是把试点拆到可验收的任务级：列出试点里真实会遇到的 10-20 个具体任务，标出每个任务的输入质量、验证难度和错误后果，只让边界内的任务先上线。

三

第二个问题：我们用什么方式验证它的输出

验证方式决定了这个试点能不能撑住。能几分钟内用规则或专家检查的任务，AI 可以大胆用；需要公司历史、外部事实或跨专业判断的任务，必须配人工复核。

一个实用的口径是记录"从任务开始到可以安全使用"的总时间——模型 5 分钟生成、专家 40 分钟复核的报告，不能被记成 5 分钟产出。仪表盘只看交付时间和文档数量，会把"更快走向错误方向"误判成成功。

四

第三个问题：出错后谁承担后果

错误后果决定授权方式。营销创意可以多版本生成加人工抽检；合同条款、财务判断、客户承诺需要证据出处和明确责任人。低风险任务允许员工自由选择工具，高风险任务固定输入、复核和审批流程。

试点方案里必须写清楚：每个环节的验证人是谁、证据留在哪里、出错回滚到哪一步。写不清楚这三项的试点，不要上线。

小结

演示回答的是"模型能做什么"，上线回答的是"在我们的业务里，什么条件下可以信任它"。三个问题——边界在哪、怎么验证、谁负责——就是把演示结论翻译成上线条件的最短路径。

来源

• Navigating the Jagged Technological Frontier，Harvard Business School Working Paper 24-013；本研究的相关解读见本站研究《AI 的能力边界为什么像一条锯齿线？》(https://cmainative.cmcm.com/research-jagged-frontier-knowledge-work.html)。
• 试点验证与复核成本的分工思路，参考本站研究《需求前置为什么省时间：一个 HMI 项目的过程复盘》(https://cmainative.cmcm.com/research-hmi-requirements-frontloading.html)。