比尔·盖茨说 GenAI 将彻底变革人类知识工作，但终归是一个预测。

经验层面，没有人真正了解最先进的大型语言模型（如 GPT-4）的全部功能。没有人真正知道使用它们的最佳方法，或者它们在什么条件下会失败。我们手里没有使用手册。在某些任务上，GenAI 非常强大，但在其他任务上又会或完全或微妙地失败。除非经常使用 GenAI，否则你都搞不清楚自己遇到的到底是哪种情况。最近，OpenAI 总裁 Greg Brockman 转发了一项被顶尖咨询公司波士顿咨询集团（ BCG ）称为「史无前例」的实证研究，从经验层面证实了 GPT-4 对人类知识工作的真正影响。

「很多人一直在问 AI 是否真的对未来工作很重要。有篇新论文强烈表明答案是肯定的。」他写道。

仍然是一篇新的工作论文，因此可能存在错误或错误并且该论文尚未经过同行评审，发表在了SSRN。论文作者之一沃顿商学院教授 Ethan Molick 也在自己的博客上介绍了这篇研究。参与者被分为两组：一小组被要求想象他们在一家鞋业公司工作，他们的经理要求他们开发一种新产品并在会议上展示。该小组的参与者还被要求完成其他几项行动，包括列出从推介到发布的步骤列表、创建营销口号以及撰写一篇 2,500 字的文章，描述开发鞋子的端到端流程和经验教训。不难看出，无论是产品构思（「针对服务不足的市场或运动提出至少 10 个新鞋创意。」）、分析（「根据用户细分鞋类行业市场。」）还是写作和营销任务（「起草一份新闻稿发布你的产品的营销文案。」）等，都属于 GPT-4 能力范围内的任务。而另一组则被要求解决业务问题，任务被设计得足够复杂，以至于 GPT-4 在解决它时会出错，因此它显然超出了 GPT-4 的能力边界。在这两组中，研究参与者被分为三种情况：无法使用 AI、可以使用 GPT-4 AI 以及可以使用 GPT-4 AI 并了解如何使用 GPT。

研究发现，针对「 GPT-4 能力范围内」的咨询业务，使用了 GPT-4 的组别工作表现显著提高（平均完成的任务多了 12.2%，完成任务的速度提高了 25.1%），完成质量也更高（与对照组相比，质量提高了 40% 以上）。作者指出，GPT-4 工具的影响非常显著。

此图显示边界外任务的平均表现。红组反而倒数第一，之前倒数的蓝组反而成了第一。这与甩手掌柜情况有关。那么，到底发生了什么？Ethan Molick 提到了一篇研究过分依赖 AI 结果适得其反的研究 Falling Asleep at the Wheel: Human/AI Collaboration in a Field Experiment on HR Recruiters 。该研究发现，使用高质量 AI 的招聘人员变得懒惰、粗心，而且判断能力也较差。与使用低质量 AI 或者不用 AI 的招聘人员相比，他们错过了一些优秀的申请人，并做出了更糟糕的决定。论文称，当 AI 非常优秀的时候，人类会关闭大脑并遵循 AI 的建议，而这更有可能是错误的。Ethan Molick 指出，针对落在 GenAI 边界之外的任务，咨询顾问也乐得「甩手掌柜」，也会导致类似的后果——事实上，那些使用 GPT-4 的顾问比那些不允许使用 GPT-4 顾问得到的答案更不准确（但他们仍然比不使用 GenAI 的顾问做得更好）。这表明，高技能脑力劳动者仍然需要继续验证 AI，发挥「在使用 AI 时的认知努力和专家判断」，而不是盲目地采用 AI 输出。

综上，如果要像试验中的许多顾问在前沿内、外任务上都做得很好——避免 AI 陷阱，又充分发挥了其所长——就要注意 GenAI 能力边界，「知人善用」。在能力边界内，人类给 GenAI 带来的价值非常小，但在能力边界外，人类在没有 GenAI 的情况下工作可以提高性能。这份研究表明，在人类与 GenAI 融合的一系列过程中，人类成功使用 GenAI 的方式出现了两种独特的模式。一组顾问充当「半人马」，就像神话中的半马/半人生物一样，将他们的解决方案创建活动划分并委托给 GenAI 或他们自己。比如，你将决定采用什么统计技术，然后让 GenAI 处理生成图表。在这份 BCG 的研究中，针对 GenAI 非常擅长的任务中，需要最少的人类参与。半人马会做他们最擅长的工作，然后将锯齿状边界内的任务交给 GenAI 。

另一组顾问的行为更像是「赛博格（半机器人）」，将他们的任务流程与 GenAI 完全集成，并不断与技术交互。你不只是委派任务，而是将自己的努力与 GenAI 交织在一起，在锯齿状的边界上来回移动。使用 AI 起草文档就是一个典型例子，先启动一个句子让 GenAI 完成，这样你就会发现自己在与 GenAI 协同工作。

无论关于 GenAI 的本质和未来的哲学之争进展如何，技术本身已经对我们的实际工作方式产生了强大的颠覆性。这不是一项需要打着「五年内改变世界、需要大量投资」的旗号大肆宣传的新技术——它就在这里，现在。精英顾问用来增强工作的工具，和每位正在阅读这篇博文的读者的工具，完全相同。他们使用的工具很快就会比你可以使用的工具差得多，因为技术前沿不仅是锯齿状，而且在不断扩大。明年至少有两家公司会发布比 GPT-4 更强大的模型，我对此很有信心。锯齿状的前沿正在往前推进，我们必须为此做好准备。即使撇开这种说法可能引起的任何焦虑，也要注意 GenAI 的缺点。人们在使用 AI 时，可能真的会「甩手掌柜」，没有注意到它的错误。而且，与其他研究一样，我们还发现，GenAI 的输出虽然质量高于人类，但在总体上也有同质化倾向。这就是为什么半机械人和半人马的合作方式很重要——它们允许人类与 GenAI 合作，产生比单独依靠任何一方更多样、更好、更正确的结果。成为其中一员并不难，只要在工作任务中使用足够多的 GenAI，你就会开始看到这条锯齿状边界，并开始了解它们在哪些方面好到可怕......以及它的不足之处。在我看来，问题不再是 GenAI 是否会重塑工作，而是我们想要它意味着什么。我们可以选择如何使用 GenAI 来帮助使工作更有效率、更有趣、更有意义。但我们必须尽快做出这些选择，这样我们才能开始以合乎道德和有价值的方式积极使用它，就像机器人和半人马一样，而不仅仅被动地对技术变革做出反应。与此同时，这条锯齿状的前沿也总是变动不居，不断开疆扩土。论文传送门：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321参考链接

https://www.bcg.com/publications/2023/how-people-create-and-destroy-value-with-gen-aihttps://www.oneusefulthing.org/p/centaurs-and-cyborgs-on-the-jaggedhttps://fortune.com/2023/10/06/generative-ai-chatgpt-collaboration-bcg/https://mitsloan.mit.edu/ideas-made-to-matter/how-generative-ai-can-boost-highly-skilled-workers-productivity