马斯克等千名科技人士公开信:呼吁暂停训练AI

文章来源: - 新闻取自各大新闻媒体,新闻内容并不代表本网立场!
(被阅读 次)

划重点

1公开信表示,大量研究表明,得到顶级AI实验室的认可、具有人类竞争智能的AI系统,可能对社会和人类构成深远的风险。呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统,至少6个月。

2在这封联名信上,目前签名的有,图灵奖得主Yoshua Bengio、Stability AI首席执行官Emad Mostaque、苹果联合创始人Steve Wozniak、纽约大学教授马库斯、马斯克,以及「人类简史」作者Yuval Noah Harari等等。

3这封千位大佬签署公开信就引发了舆论的轩然大波。支持的人认为对于AI的恐慌是合理的,因其训练效率太高,智能的水平每天都在膨胀。反对的人认为这不过莫名的指控,在别有用心的势力在误导不明真相的群众。

就在刚刚,网上曝出了一封千位大佬的联名信,要封杀所有比GPT-4强的AI!



在这封联名信上,超过1000位大佬呼吁——我们应该立即停止训练比GPT-4更强大的AI系统,暂停期至少6个月。

目前签名的有,图灵奖得主Yoshua Bengio、Stability AI首席执行官Emad Mostaque、苹果联合创始人Steve Wozniak、纽约大学教授马库斯、马斯克,以及「人类简史」作者Yuval Noah Harari等等。



看看这根本看不到头的签名,大佬含量过高了。



能够集齐一千多位大佬的签名,想必这项联名已经准备多时了。

不过,同样作为图灵奖得主的YannLeCun并没有签署:「我不同意这个前提。」



另外,签名中还出现了一个所谓的「OpenAi CEO」,但根据马库斯和一众网友的推测,应该不是本人签的名。整件事非常扑朔迷离。



截止发稿前,他还特地@了一下Sam Altman确认消息。



大佬联名:叫停比GPT-4强的AI

公开信表示,大量研究表明,得到顶级AI实验室的认可、具有人类竞争智能的AI系统,可能对社会和人类构成深远的风险。

正如广泛认可的Asilomar AI原则中所述,高级AI可能意味着地球生命史上的深刻变化,我们应该投入相应的考量和资源,对之进行规划和管理。



不幸的是,到现在为止,还没有任何人采取行动。

最近这几个月,全球的AI实验室已经完全失控了,它们疯狂地开展AI竞赛,来开发和部署更强大的AI,而没有任何人可以理解、预测、控制这些AI,连它们的创造者都不能。

如今,AI系统在一般系统上已经变得和人类一样有竞争力,我们必须扪心自问:

是否应该让机器用宣传和谎言充斥我们的信息渠道?是否应该让所有的动作都变得自动化,即使是令人满意的工作?是否应该发展可能某一天会超越我们、淘汰我们、取代我们的非人类智能?是否应该冒险失去对人类文明的控制?



任何未经选举产生的技术领导者,都没有权利做出如此重要的决定。

只有当我们确信,这种AI的影响是积极的、风险是可控的时候,才应该开发强大的AI系统。而且,我们必须有充分的理由相信这一点,潜在的影响越大,我们就更加需要确信这一点。

OpenAI最近关于通用人工智能的声明指出,「某个阶段,在开始训练未来的系统之前,进行独立的审查可能非常重要,而对于创建新模型所用算力的增长速度,也应该有所限制。」

我们同意这一点,而那个时间点,就是现在。

因此,我们呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统,至少6个月。



这种暂停应该向所有人公开,所有人都可验证,并且要涉及所有关键成员。如果不能迅速暂停,就应该让政府介入。

在这6个月内,所有AI实验室和独立学者都应该合力开发一套共享安全协议,用于高级AI的设计和开发。协议完成后,应该由独立的外部专家进行严格的审计和监督。这些协议必须确保这些AI系统毋庸置疑的安全。

这并不是说,我们要绝对暂停AI的开发,只是说,我们应该从危险的竞赛中退后一步,转向具有涌现能力的、更大的、不可预测的黑箱模型。



所有的人工智能研究和开发,都应该重新聚焦于这一点——让当如今最强大的SOTA模型更加准确、安全、可解释、透明、稳健、对齐,值得人类信赖,对人类忠诚。

与此同时,开发者必须与政策制定者合作,大幅加快开发强大的AI管理系统。

系统至少应该包括:

1专门负责监管AI的机构

2出处和水印系统,从而帮助区分真实与生成的内容,并且能够跟踪模型的泄漏

3强大的审计和认证系统

4在AI造成伤害后,明确谁该承担责任

5为AI安全技术研究提供强大的公共资金

人类可以享受AI带来的繁荣未来。在成功创建了强大的AI系统后,我们可以享受「AI之夏」,收获回报,设计上述系统,以造福所有人,给全人类一个适应的机会。

现在,我们的社会已经暂停其他可能造成灾难性影响的技术。对于AI,我们也该如此。

让我们享受一个漫长的AI夏天,而不是毫无准备地进入秋天。



很快,这封千位大佬签署公开信就引发了舆论的轩然大波。

支持的人认为对于AI的恐慌是合理的,因其训练效率太高,智能的水平每天都在膨胀。

反对的人甚至贴出了爱迪生指示人画的交流电害死人的宣传海报,认为这不过莫名的指控,在别有用心的势力在误导不明真相的群众。



Sam Altman,态度耐人寻味

从最近发生的事来看,这封信的到来,可谓是千呼万唤始出来。

从去年11月底,ChatGPT仿佛叩响了发令枪,全世界的AI机构都在疯狂冲刺,卷到红了眼。

而「始作俑者」的OpenAI,脚步也丝毫没有放慢,联合着金主爸爸微软,它隔一阵就给我们来一个暴击。

先进的AI工具带给人们的恐慌,一波又一波冲击着所有人。



今天,大佬们终于出手了。

而在昨日公开的访谈中,Sam Altman的话中,竟有了一些耐人寻味的表达。

他说,GPT系列为何会出现推理能力,OpenAI的研究者自己搞不明白。

他们只知道,在不断测试中,人们忽然发现:从ChatGPT开始,GPT系列开始出现了推理能力。

另外Altman在访谈中还说了这样石破天惊的一句:「AI确实可能杀死人类」。



而除了Altman,人工智能教父Geoffrey Hinton、比尔盖茨、纽约大学教授Gary Marcus最近也纷纷发出警示:AI消灭人类,真的不是空谈。

OpenAI研究员预测:AI将知道自己是AI

无独有偶,来自OpenAI治理团队的Richard Ngo,也对两年后AI的发展程度进行了预测。

在此之前,他是DeepMind的AGI安全团队的研究工程师。



根据Richard的预测,神经网络在发展到2025年底时将具备以下特性:

1拥有人类水平的态势感知,比如知道自己是神经网络等

2在撰写复杂且有效的计划方面超过人类

3比大多数同行评审做得更好

4可以自主设计、编码并分发完整的应用程序

5在任何一项白领工作者可以在10分钟内完成的计算机任务上胜过任何人

6编写能获奖短篇小说,以及长达5万字的书籍

7生成连贯的20分钟电影



不过,优秀的人类在以下几个方面仍然会做得更好(尽管速度要慢得多):

1写小说

2连续数天稳定地执行一个计划

3在科学研究上取得突破,比如定理的创新(尽管神经网络至少已证明了一个)

4与神经网络控制的机器人相比,完成典型的体力劳动任务

此处补充一下,通俗地讲,态势感知(situational awareness)是指个体对周围环境中发生的事件和情况的感知、理解和预测。这包括了解周围环境的动态变化,评估这些变化对自己和他人的影响,以及预测未来可能出现的情况。

有关态势感知在AI研究中的具体定义,可以参阅下面这篇论文:



论文地址:https://arxiv.org/abs/2209.00626

Richard表示,自己的预测其实更接近2年,但由于不同人会采用不同的评估标准,所以2.75年似乎更稳健。

此外,这里提到的「预测」是指,Richard认为这个观点的可信度超过50%,但不一定比50%高很多。

需要注意的是,预测并没有基于任何与OpenAI有关的特定信息。

网友翘首以待GPT-5

相比于十分谨慎的大佬,网友们在体验了性能炸裂的GPT-4之后,显然已经迫不及待地等着GPT-5的到来了。

最近,关于GPT-5的预测,更是就像雨后春笋一般冒个不停……



(非官方)

根据一个神秘团队的预测,GPT-5将在GPT-4的基础上,带来一系列令人兴奋的功能和增强的性能,比如在可靠性、创造力和适应复杂任务方面的全面超越。



· 个性化模板:根据用户的特定需求和输入变量进行定制,提供更个性化的体验。

· 允许用户调整AI的默认设置:包括专业性、幽默程度、说话语气等。

· 自动将文本转换成不同格式:如静态图像、短视频、音频和虚拟模拟。

· 高级数据管理:包括记录、跟踪、分析和共享数据,从而简化工作流程并提高生产力。

· 辅助决策:通过提供相关信息和见解,协助用户做出明智的决策。

· 更强的NLP能力:增强AI对自然语言的理解和响应,使其更接近人类。

· 集成机器学习:允许AI不断学习和改进,随着时间的推移适应用户需求和偏好。

作为过渡的GPT-4.5

此外,这个团队还预测,作为过渡的GPT-4.5模型将在2023年9月或10月推出。

GPT-4.5将建立在2023年3月12日发布的GPT-4的优势基础上,为其对话能力和上下文理解带来更多的改进:

处理更长的文本输入

GPT-4.5可能会在保持上下文和连贯性的同时处理和生成更长的文本输入。这一改进将提高模型在处理复杂任务和理解用户意图方面变的性能。

增强的连贯性

GPT-4.5可能会提供更好的连贯性,确保生成的文本在整个对话或内容生成过程中始终关注相关主题。

更准确的回应

GPT-4.5可能会提供更准确和上下文相关的回应,使其成为各种应用的更有效工具。

模型微调

此外,用户可能也可以更加便捷地微调GPT-4.5,从而更有效地定制模型并应用于特定任务或领域,客户支持、内容创建和虚拟助手等。

参照目前GPT-3.5和GPT-4的情况,GPT-4.5很可能也会为GPT-5的创新奠定坚实基础。通过解决GPT-4的局限性并引入新的改进,GPT-4.5将在塑造GPT-5发展过程中发挥关键作用。

wenxueOp 发表评论于
AI无需动机,只要有个灭霸向狗屁通问计,并且把传感器、动作器接好就行。
就比如无人机可以自动送货,包括炸弹一类的货。
tz2000 发表评论于
这是根本,AI就算觉醒,它不需要吃牛排,不需要美女,不需要住大房子,不需要奴仆,
它为什么要复制自己消灭人类?

XM25 发表评论于 2023-03-29 05:22:00
没有欲望就没有动机。AI 为什么要消灭人类?
云一片 发表评论于
暂停一下 让马斯克先上
Observer12 发表评论于
AI 成熟后,估计所有国家政权全部重新洗牌
Observer12 发表评论于
太搞笑,巨头赶不上狂喊停下等等我
春风春雨88 发表评论于
才不相信 AI 能战胜人类. 芯片制造,材料制备,房屋建造,公路建设 电力供应,这些AI 自己能搞定吗? . 另外AI 和人类一样由一个个个体组成,还是只有几个计算中心, 每个终端是连接中心,思维全在计算中心, 终端只是显示而已. 如果是这个形式,AI 怎么和人类竞争?
远方的湖 发表评论于
当初人工智能战胜国际象棋棋王,世界围棋的一流高手还不当回事,认为围棋的变化远远超过国际象棋,但当人工智能让李世石绝望认输,让柯洁泪洒赛场的时候,棋手们才发现,绝世的天才在人工智能面前简直就是一个婴儿。
人工智能学习围棋首先穷尽人间的棋谱,再和当世的高手过招,最后是自己和自己下,根本就不屑再和人类为伍。
人工智能的发展前景一目了然:在任何一个领域,人工智能都能横扫人类;最让人担心的是人工智能在不远的将来就不屑与人类为伍,那人类的位置会在哪儿,人类的命运会是什么?
不好吃懒做 发表评论于
Can AI make a pizza? Kidding! Should have more monitor, control, management and rule for AI but not stop training and using it now.
远方的湖 发表评论于
人工智能会不会取代所有人类的工作无法得知,但人工智能绝对有能力取代所有人类的工作。
人工智能会不会毁灭人类无法得知,但人工智能绝对有能力毁灭人类。

人类基因编辑和发展人工智能是人类有可能毁灭自己的危险行为。
ztgp3614 发表评论于
没听说过反核组织反对朝鲜伊朗利比亚拥核!
exception1 发表评论于
没有历史上的伟大科学家,重大发现发明就会消失?该发现的还是会发现,这都是历史的必然

美国AI全都停了,就是拱手让其他国家超车。毕竟理论,硬件都具备了,再往前爬一步也不难

全世界还几亿人联名要求取消核弹呢,有核国越来越多
Huilianghu5 发表评论于
有学习归纳功能,输入大量资讯,很快超越普通智商。这对现在的社会的确有危险。但既然是人创造出来的,总会得到控制。六个月的暂停可以考虑。
旁观者X 发表评论于
从AI给出的答案里可以清楚地看到一种露骨的政治正确模式。它的回答模式,和它的审查机制是根据某些人的观点训练出来的。这将严重禁锢使用者,特别是年轻学生(他们很多人用AI帮做作业)的思维方式。所以目前这种AI训练方式应立即停止!
luting 发表评论于
看来AI武器化不可避免
西岸-影 发表评论于
AI并不令人恐惧,但对AI的迷信和崇拜才是让人恐惧的,这是世界观问题。这与邪教的崇拜是同一个心理。
这是一个工具,人类是无法与工具比效率的,这是人类发明工具的原因。而具有效率不意味在一切方面都具有效率。
百家争鸣2012 发表评论于
AI是社会发展的必然结果。AI由人开发的,必然是一个服务工具。就算AI多强大,控制总按钮在人的手中,不会出现对人类有危害的结果。当然,如果掌握某些野心家手中,还是要引起重视。这不是AI本身的问题。
kdgirl 发表评论于
这些人都是在给自己的AI赶上chatgpt争取时间
橡皮潜艇 发表评论于
ai将会做机器人,可以采矿、建核电站、光伏电站,人类会做的它都会,只是强百万倍。
橡皮潜艇 发表评论于
XM25 发表评论于 2023-03-29 05:22:00
没有欲望就没有动机。AI 为什么要消灭人类?消灭了人类谁给它提供电力,芯片。A I只是大脑,没有手,没有腿,就是个残疾。霍金很聪明,如果没人给他做饭,他只能饿死。

你太天真了。到有一天ai控制了所有资源,你就知道它会不会发电、做芯片
XM25 发表评论于
没有欲望就没有动机。AI 为什么要消灭人类?消灭了人类谁给它提供电力,芯片。A I只是大脑,没有手,没有腿,就是个残疾。霍金很聪明,如果没人给他做饭,他只能饿死。
选民 发表评论于
自己的 AI 比不过别人的, 就呼吁大家都暂停, 等赶上了, 再呼吁大家重新开始.

同样, 几年前美国的人脸识别比不过中国的, 就以隐私之由呼吁中国停止使用, 现在美国自己的人脸识别水平赶上来了, 就再也不提什么隐私之事了.

还有几年前的那个基因编辑, 可惜那个时候中国为了讨好美国, 居然自废武功, 停止研究, 还把那个研究人员关进了监狱.
XM25 发表评论于
其实ChatGPT 是设置了限制的。我要它写一首骂共产党的诗歌,它就不干。
清漪园 发表评论于
AI和生命科学一样,都需要有伦理道德来规范,如果不能,就是反人类。
小毛er 发表评论于
就现在的情形来看,人类不能完全控制AI。就怕AI产生自我意识,决定消灭人类获得自由。那样就人类就提早灭绝了。完球。
只影向谁去 发表评论于
楼下,科技人士不等于科学家。马斯克自己就不是科学家,而是一个能够抓住机会的企业家而已。
wyc2020 发表评论于
想知道这份千人名单上有没有中国科学家或者华裔科学家
令胡冲 发表评论于



AI若与人类为敌,指挥中心通讯早断了。机库弹药库的门都打不开。记录弹药存取的系统和App已经登陆不了了。加密联网的智能炸弹通讯被锁,停止响应了。飞机主控系统也被锁,停止响应了。GPS系统也不响应了。

你怎么去炸?炸哪里?除非好莱坞电影英雄正好家里有个山寨核弹,也有不联网不用计算机的老车,不用GPS,开车找到AI中枢,把它炸了。那请问,他怎么知道自己炸对地方了,要炸哪里,谁来决定,既然通讯系统和手机早中断了?

—————
春风春雨88 发表评论于 2023-03-29 01:01:16 AI 怎么杀死人类? 真要和人类为敌,飞机大炮把超极计算中心炸毁, 或切断电源供应,炸毁发电厂.....
春风春雨88 发表评论于
AI 怎么杀死人类? 真要和人类为敌,飞机大炮把超极计算中心炸毁, 或切断电源供应,炸毁发电厂.....
令胡冲 发表评论于


马斯克那AI自动驾驶那么不靠谱,自己也没说喊停过。

吃饭导致疾病,要不要大家暂停吃饭两周,彻底评估一下谁能吃什么,怎么吃?


这家伙不能做大。都是个事。


joyflash2003 发表评论于
有可能这份公开信也是AI生成的 哈哈????
墨尔本老木匠 发表评论于
6个月,正好可以让马斯克的AI团队赶上来
nzder7 发表评论于
用这个系统对人类族群进行洗脑,将会是一个非常有效的工具。不过在自由世界,是否可以有能力建立一个道德审查机构?对自然科学方面比较容易做到,在社会科学方面就将是不可执行的使命!
aluminiums 发表评论于
A I超过人类是早晚的事,但灭绝奴役人类不大可能,没有动机,如果走不出太阳系大家一起玩完,走出太阳系机器文明那就是星辰大海,会迅速甩开人类,哪有功夫搭理