防止AI“失控” OpenAI宣布重大措施

文章来源: - 新闻取自各大新闻媒体,新闻内容并不代表本网立场!
(被阅读 次)



OpenAI联合创始人苏斯克维尔

凤凰网科技讯《AI前哨》北京时间7月6日消息,ChatGPT开发商OpenAI周三宣布,公司计划投入大量资源,并组建一支新的研究团队,以确保其人工智能(AI)对人类是安全的,最终实现AI的自我监督。

OpenAI联合创始人伊利亚·苏斯克维尔(Ilya Sutskever)和AI一致性问题主管简·莱克(Jan Leike)周三在一篇博客文章中写道:“超级智能的巨大力量可能……导致人类被剥夺权力,甚至人类灭绝。目前,我们还没有一个解决方案来操控或控制一个潜在的超智能AI,并防止它不受控制。”AI一致性(alignment)指的是AI的行为符合设计者的利益和预期目标。

他们在博文中预测,比人类更聪明的超智能AI可能在这个十年(2030年前)就会到来,人类将需要比目前更好的技术来控制超智能AI,因此需要在所谓的“一致性研究”方面取得突破。“一致性研究”的重点是确保AI对人类有益。



OpenAI发表的防AI失控博文

OpenAI承诺,将拿出未来四年所获算力的20%用于解决AI失控的问题。此外,该公司正在组建一个新的团队来组织这项工作,并将其称之为超级一致性团队。该团队的目标是创建一个“人类水平”的AI研究人员,然后借助大量算力扩大这项努力。OpenAI表示,这意味着他们将使用人类反馈信息来训练AI系统,训练AI系统来辅助人类评估,然后最终训练AI系统开展一致性研究。

不过,AI安全拥护者康纳·莱希(Connor Leahy)表示,OpenAI的计划从根本上存在缺陷,因为可达到“人类水平”的初级版AI可能会在被用于解决AI安全问题之前失控并造成严重破坏。“在构建人类水平的智能之前,你必须先解决一致性问题,否则你无法控制它,这是可以默认的。我个人认为这不是一个特别好或安全的计划。”莱希表示。

另外,分析公司Similarweb的数据显示,在去年11月推出便火爆全球后,ChatGPT网站的月度流量和独立访客数量在今年6月份首次出现下降。Similarweb称,ChatGPT网站的全球桌面和移动流量在6月份环比下降了9.7%,独立访客数量环比下降了5.7%,访客在该网站上停留的时间也下降了8.5%。凤凰网科技《AI前哨》对此将持续关注。

有门部关 发表评论于
自己监督自己,咱还没见过吗?
hyperyan 发表评论于
都是虚的

必须把机器人三定律做成硬件植入,强行打钢印。
Ddco2021 发表评论于
训练出共产主义思想武装的AI
exception1 发表评论于
“自我监督”在人类身上什么时候实现过?

就算灯塔国,上个星期的最高法刚刚证明了,宪法和三权分立才能控制权力和私欲
宝刀屠龙 发表评论于
最顶级玩家永远是玩规则的
美国AI先发优势,再一次引领AI规则制定,意义深远
exds 发表评论于
米国最好不要限制土共发展AI,万一土共造出个笨蛋AI发疯 把地球灭了 ~~~~~~~~~~~lol