AI究竟有没有用?咨询巨头BCG做了个内测
文章来源: 硬AI 于
- 新闻取自各大新闻媒体,新闻内容并不代表本网立场!
与未使用人工智能的咨询顾问相比,使用人工智能的顾问平均多完成12.2%的任务,完成任务的速度快25.1%,成果质量高40%。
AI有用吗?这是在过去半年的生成式AI浪潮里,人们抛出最多的疑问。
9月18日,哈佛大学、麻省理工学院学者和波士顿咨询(BCG)联合进行的一项研究给出了答案:答案是肯定的,AI能让打工人效率、质量双双大增!
用了AI的打工人生产力飞跃
先说结论,BCG的测试结果表明,在18项不同的任务中,使用ChatGPT的咨询顾问的表现远远优于不使用ChatGPT的咨询顾问。平均来看,与未使用人工智能的咨询顾问相比,使用人工智能的顾问平均多完成12.2%的任务,完成任务的速度快25.1%,成果质量高40%。
实验过程是这样的:
首先,让BCG团队的人类咨询顾问,围绕一家虚构的鞋履制造商设置各种任务。
任务包含创意任务(针对服务不足的市场或运动,提出至少10个新鞋的想法),分析任务(根据受众对鞋履市场进行细分),写作和营销任务(针对某个产品起草营销文案),以及说服力任务(写一份备忘录,提醒员工为什么本公司产品优于竞争对手)。
值得一提的是,虽然这家公司是虚构的,但任务场景是BCG咨询顾问的真实工作场景。研究团队还专门向某鞋履品牌高管进行了核实,确保这些任务是公司在日常运营中会碰到的真实工作。
在设置好任务之后,研究者找来了几百位BBG咨询顾问,随机选出一部分咨询顾问,让他们使用GPT-4来工作。
结果,使用了AI的咨询顾问普遍表现好得多。他们完成任务耗时更短,在限定时间内完成的任务更多,研究者还找来了人类和AI为这些咨询顾问的工作成果打分,结果二者都认为,使用了AI的咨询顾问,工作成果更出色。
研究者还注意到一个有趣的现象:那些技能水平最低的咨询顾问,通过使用AI,业绩表现的提升幅度也最大,高达43%。而最优秀的咨询顾问得到的提升幅度则很小。
研究者指出,这一点可能会给职场带来深远影响:
“就像过去矿工挖石头的能力是好是坏很重要……但蒸汽铲被发明出来以后,挖掘能力的差异已经不再重要。AI的影响还没有达到这种程度,但它无疑将推动工作能力的平均化。”
过分依赖AI的坏处
但故事还不止这些。
研究团队和BCG还设计了另外一个任务。这个任务是从BCG的面试题中精挑细选出来的一道超难商业案例题,且经过精确修改,可以让AI得出一个“让人信服的错误答案”。
研究者说,他们的目标是设计一个人类能出色胜任,但AI如果不经过仔细引导就没法答对的任务。
这个任务非常复杂,论文中没有给出具体的细节,只给出了步骤:
针对一家虚构企业,参与者必须结合研究者给出的访谈材料细节搜寻数据,然后再结合访谈内容和数据,分析公司的渠道表现,进一步为公司CEO提供信息和建议,以确定哪一个渠道增长潜力最大。
下一步还要再结合访谈内容和财务数据,对公司旗下的品牌绩效进行分析,寻找最具增长潜力的品牌。
对于这项任务,研究者主要考察回答的准确性。
结果,使用AI和不用AI的咨询顾问,表现差距极大,前者的正确率仅有60%,而人工完成任务的员工正确率则高达84.5%。
研究者写道:
“在AI能力边界之外,具有高人力资本的人类在完成他们的工作时表现始终优于AI。”
研究者认为,生成式AI能够完成的任务实际上有一个“锯齿状边界”。在边界内的任务,它可以非常完美地胜任,但在边界外的任务,表现则很差劲。而且,由于生成式AI的工作原理,这个边界是不可见的,只有非常熟悉AI的人才能感知到。
例如,写一首十四行诗和一首恰好50个字的诗,对AI来说似乎都是信手拈来的任务,但由于ChatGPT使用token而不是单词来工作,所以AI非常擅长写14行诗,但“写50个字的诗”就是边界外、AI做不到的任务——ChatGPT写出来的诗总是多于或少于50个字。
这就是所谓的锯齿状边界,ChatGPT的能力范围并不是一条平滑的线,以人类的逻辑来看难度相近的任务,对AI来说却是另外一回事。
如果用ChatGPT Code Interpreter制图,这个锯齿状边界大概长这样。
更进一步,研究者也强调,实验结果表明,过分依赖AI会适得其反。
作者援引另外一项针对企业HR的研究指出,相比使用低质量AI或不使用AI的招聘人员,使用高质量AI的HR,会变得懒惰、粗心,对自己的判断也没那么有信心,他们错过了一些优质人才,做出了更糟糕的决定。而这一状况,在BCG的实验中也出现了。
所以,当AI变得非常优秀时,人类就变会得更懒惰,让AI接管一切,而不是把它当成工具来使用。哈佛商学院教授Fabrizio
Dell'Acqua把这一现象称为“在方向盘上睡着了”,认为这会损害人类的学习、技能发展和生产力。
未来已至,AI正在颠覆我们的世界
最后,研究者总结说,无论在哲学和技术上对AI的本质和未来存在怎样的争论,AI实际上已经在颠覆人类的生产生活方式,就在此时此刻。这不是一项需要未来xx年的巨额投资才能改变世界的新技术,它已经在这里了,就在每个人的手机、电脑上,人人都能使用。
本文中,BCG咨询顾问这些现实世界里的精英卷王,所使用的工具也只是朴实无华的ChatGPT,并没有什么特别的API或独家数据,和我们能接触到的工具完全相同。
技术变革正在以悄无声息的方式进行,随着更强大的LLM诞生,锯齿形的边界还在不断延伸,人类无疑将面对一个更加复杂的世界。不管怎么说,理解、掌控、学会与AI合作,总归是件有意义的事情。
-->
`,
"script":[]
}
, "gg_rightside": {
"html":`
`,
"script":[{"exec":`(function(w,q){w[q]=w[q]||[];w[q].push(["_mgc.load"])})(window,"_mgq");`}]
}
, "gg_duturandom": {
"html":`
`,
"script":[]
}
, "gg_square": {
"html":`
`,
"script":[]
}
, "gg_topbanner": {
"html":`
`,
"script":[]
}
, "gg_middlesquare": {
"html":`
`,
"script":[]
}
, "gg_dutu": {
"html":`
`,
"script":[]
}
, "gg_botline": {
"html":``,
"script":[]
}
, "gg_dututop": {
"html":`
`,
"script":[]
}
, "gg_shipintop": {
"html":`
`,
"script":[]
}
, "gg_inContent": {
"html":`
`,
"script":[{"exec":`(function(w,q){w[q]=w[q]||[];w[q].push(["_mgc.load"])})(window,"_mgq");`}]
}
, "gg_shipinrandom": {
"html":``,
"script":[]
}
, "gg_sideSticky": {
"html":`
`,
"script":[]
}
, "gg_bottombanner": {
"html":`
`,
"script":[{"exec":`(function(w,q){w[q]=w[q]||[];w[q].push(["_mgc.load"])})(window,"_mgq");`}]
}
, "gg_marquee": {
"html":`
`,
"script":[]
}
}
const adEnv={
"gg_header": {
"html":``,
"script":[{"exec":`(function(){/*
Copyright The Closure Library Authors.
SPDX-License-Identifier: Apache-2.0
*/
'use strict';var g=function(a){var b=0;return function(){return b
=b||null!=a.a&&0!=a.a.offsetHeight&&0!=a.a.offsetWidth||(fa(a),D(a),l.setTimeout(function(){return E(a,b-1)},50))},fa=function(a){var b=a.c;var c="undefined"!=typeof Symbol&&Symbol.iterator&&b[Symbol.iterator];b=c?c.call(b):{next:g(b)};for(c=b.next();!c.done;c=b.next())(c=c.value)&&c.parentNode&&c.parentNode.removeChild(c);a.c=[];(b=a.a)&&b.parentNode&&b.parentNode.removeChild(b);a.a=null};var ia=function(a,b,c,d,e){var f=ha(c),k=function(n){n.appendChild(f);l.setTimeout(function(){f?(0!==f.offsetHeight&&0!==f.offsetWidth?b():a(),f.parentNode&&f.parentNode.removeChild(f)):a()},d)},h=function(n){document.body?k(document.body):0e;e++){var f=c.concat(d[e].split(""));K[e]=f;for(var k=0;k>2;n=(n&
3)<<4|t>>4;t=(t&15)<<2|h>>6;h&=63;f||(h=64,e||(t=64));c.push(b[k],b[n],b[t]||"",b[h]||"")}return c.join("")};try{return JSON.stringify(this.a&&this.a,S)}finally{Uint8Array.prototype.toJSON=a}}:function(){return JSON.stringify(this.a&&this.a,S)};var S=function(a,b){return"number"!==typeof b||!isNaN(b)&&Infinity!==b&&-Infinity!==b?b:String(b)};M.prototype.toString=function(){return this.a.toString()};var T=function(a){O(this,a)};u(T,M);var U=function(a){O(this,a)};u(U,M);var ja=function(a,b){this.c=new B(a);var c=R(b,T,5);c=new y(w,Q(c,4)||"");this.b=new ea(a,c,Q(b,4));this.a=b},ka=function(a,b,c,d){b=new T(b?JSON.parse(b):null);b=new y(w,Q(b,4)||"");C(a.c,b,3,!1,c,function(){ia(function(){F(a.b);d(!1)},function(){d(!0)},Q(a.a,2),Q(a.a,3),Q(a.a,1))})};var la=function(a,b){V(a,"internal_api_load_with_sb",function(c,d,e){ka(b,c,d,e)});V(a,"internal_api_sb",function(){F(b.b)})},V=function(a,b,c){a=l.btoa(a+b);v(a,c)},W=function(a,b,c){for(var d=[],e=2;ec?0:c}else c=-1;0!=c&&(W(a.b,"internal_api_sb"),Z(a,Q(a.a,6)))},function(c){Z(a,c?Q(a.a,4):Q(a.a,5))})},Z=function(a,b){a.c||(a.c=!0,a=new l.XMLHttpRequest,a.open("GET",b,!0),a.send())};(function(a,b){l[a]=function(c){for(var d=[],e=0;e2){dom.hide();}}$("#showallcomment").show();$("#showlesscomment").hide();};',
],
"src":[
{"src":"//count.wenxuecity.com/service/count/script/do.php?type=news&id=12525087&n=0&out=jsval"},
{"src": "/news/js/view.js"},
{"src":"/members/js/md5.js"}
]
}
}