近期，AI风险管理再度被提上了日程，成为了全球关注的热点议题。

一方面，各国政府和科技界正积极探讨如何有效地管理这些新兴技术可能带来的伦理、法律和社会问题。全球首届AI安全峰会近日在英国举办，中国、美国和欧盟在内的 28 个国家和地区签署了《布莱切利人工智能安全宣言》（Bletchley Declaration），宣言重点关注人工智能的滥用风险和失控风险，这也是全球第一份针对人工智能的国际性声明。

另一方面，AI风险也引发了多位AI大佬，甚至是AI先驱科学家们的“battle”，吵出了两大阵营：一派是呼吁关注“AI威胁论”，以AI教父本吉奥、辛顿等多位学者，近日联名签署了新一轮关于AI威胁的联名信，认为“如果不够谨慎，我们可能不可逆转地失去对自主AI系统的控制，导致人类干预无效。而另一派是以Google Brain联合创始人吴恩达、Meta首席人工智能科学家杨立昆等为代表，谴责大型科技公司和目前在人工智能领域占据优势的初创企业散布人工智能威胁论，并表示这样的目的是在牟利的同时引来更严格的监管，从而中断目前AI蓬勃发展的竞争格局。

诚然，AI的快速发展引发了公众对于其潜在威胁的担忧，这种担忧涉及到AI技术的中立性和公正性问题，以及可能对社会结构和人类行为产生的深远影响。在这场长期和浩大的讨论中，技术专家、伦理学者和政策制定者正努力寻找平衡点，以确保技术的积极发展同时最小化其潜在风险。

对此，《AI未来指北》邀请到了腾讯新闻创作者、人工智能博士卢菁作为特邀主持，对话两位知名人工智能专家：中国科学院自动化研究所多模态人工智能系统全国重点实验室研究员赫然、清华大学计算机系长聘副教授崔鹏，围绕AI的风险管理、技术规范和伦理治理等方面和各位网友一起探讨。以下为对话内容精选实录：

1 人工智能的风险，更多源于是人的风险

卢菁 : 最近AI风险管理再次被提上了日程，为何这么多AI大佬和科学家都在呼吁重视AI的风险问题，AI可能会造成怎样的风险？

赫然：人工智能的风险安全一直是比较重要的话题，最近再次被提上很高的热度，主要原因是在过去的半年时间内，人工智能领域发生了很多重大的技术突破。ChatGPT推出后的两个月内，注册用户数量达到了惊人的1亿多人次，以及在计算机视觉领域，比如Midjourney和其他图像生成效果方面也展示出了令人印象深刻的成果。

然而，这些进展也带来了新的挑战。这些新技术应用已经进入互联网服务，因此也引发了与之相关的风险担忧。对于大众来说，首先我们需要重点关注的是对这项技术的误用或者滥用。比如说有人会通过AI技术诈骗，我们经常会看到相关的新闻，不法分子使用人工智能合成技术产生了严重的安全问题。

崔鹏 ：今年人工智能获得了里程碑式的成果。虽然过去几年，人工智能也有一定的关注度，但都是在一些专有领域的发展，不涉及到开放场景，也不涉及到任何的通用任务，比如AlphaGo大战李世石，我们也不会担忧下象棋是否会给人类带来很大的风险。但是ChatGPT的出现，让我们看到了人工智能在处理开放场景的能力，也给我们带来很大的遐想空间。

在这样的情况下，我们应该考虑如何看待目前人工智能的风险呢？我们要区分两个视角：一个视角，就是我们把人工智能当成是一个独立的智能体，它可能未来会逐步地融入到我们社会当中；还有另外的一个视角，就是把人工智能当做一个工具，看成是新一代生产力的一个撬动的基石。这些都会有相应的风险。

我更倾向于从第二个视角来去看待现代人工智能，它只是用来服务于人，去帮助我们发展生产力。如果从这个视角上来看，它的风险无外乎表现在三个方面：第一，工具（AI)本身是不是有风险？比如它现在的能力不足和边界不清，或者泛化能力不足等等这样的一些问题，来源它本身的风险。第二，工具使用者的风险，即工具使用者的使用方式不当，比如有不法分子会用利用AI来搞诈骗，第三类，社会规范层面的风险。比如相关的社会规范或者政策是否能跟AI发展的节奏，面对一些风险如何取舍和规范相关的能力等。

卢菁： 我们能否可以总结为，其实人工智能的主要风险其实更多是人为因素对风险进行了放大？比如说诈骗犯，如果说我们用它来行善，那么它其实也能够把人的善意给放大？

崔鹏 ：主要是两个方面：第一，现在的人工智能工具还存在很多缺陷，它不是一个完美的工具，还存在很多问题。第二，人工智能的风险问题，可能目前的风险更多是人的风险。

卢菁： 最近我看过一个关于“AI撒谎”的讨论，这是否可以作为衡量AI有智力的表现？比如现在GPT能够一本正经的胡说八道，而且还很容易通过巧妙的对话“蒙骗”用户，这也引发了一些人的担忧。

崔鹏 ：这个我们要分辨两者的区别，人类撒谎是有意图的，但目前AI的“胡说八道”是没有意图的，可能输出的答案更多的是一种统计的结果。

02 人工智能的价值观：AI并非能够真正理解所生成的内容

卢菁：如果说AI产出内容是没有自我意识的，那人工智能技术本身是否安全和中立？因为AI在一些表达中，确实是具备一些表达中具备一定的感情倾向，或者贬损等。

赫然：技术本身是中性的，它并不具备好坏或价值观的倾向。只是在使用过程中，使用者可能会导致某些价值观的倾向，比如由于使用者错误的使用方式等问题，导致产生偏见或特定的结果。例如，早期版本的某些AI技术，GPT在使用机器学习进行训练时，如果没有对大规模数据进行清洗，可能会包含各种偏见。如果数据中男性比女性多，或者明星数据比普通人数据多，那么回复的内容可能更多地围绕着明星，而不是普通人。

目前我们使用的基于提示的技术，在聊天过程中，输入的提示可能已经包含了某些倾向性的内容，会导致偏向性结果的产出。而对应的解决办法主要是两个方面：第一，是在最新版本的GPT和图文生成技术中，已加入控制部分，比如控制输出方面，对具有有倾向性，或者在输入语言时自动替换数据以实现更中性的结果。此外，还有增加黑名单功能，如果输入的词汇在黑名单中，系统会自动替换掉这些词汇。比如输入了一个明星或特殊人物的名字，且该名字在黑名单中，系统可能会将其替换为更中性的内容，如“在海边的男孩”或“游艇”等词语。

崔鹏 :是的。同时，我们也不能忽视算法可能带来的偏见。例如英国在疫情期间使用AI系统基于学生以往的学习表现和个人特征来预测他们的考试成绩。尽管系统的准确率很高，但它在特征分布上可能过度强调了家庭背景等因素，从而产生偏见。这说明即使数据本身是真实的，算法对某些特征的过度敏感也可能导致偏见的产生。

并且，当前的人工智能系统所反映的“价值观”可能一方面受到所用数据的影响。一方面，目前的算法可能也不一定能保证捕捉到最本质的、最公正的预测结构。这表明，尽管AI技术在多方面都非常先进，但在处理某些问题时，尤其是那些涉及复杂人类行为和社会结构的问题时，仍存在不足。这些问题可能是由数据的偏见和算法的局限性共同造成的，需要我们继续努力改进和完善。

卢菁: 刚我们聊到了数据语料的问题，基于大语言模型的发展，目前很多内容网站的信息会由越来越多的生成式大模型产生，然后研究者又会从网上拔取这些数据，再进一步的去训练大模型，这本质上有点像是用大模型来训练大模型，这样如此推演下去，是否会产生一些有意思的碰撞，以及大模型的价值观是否会容易被带跑偏了？

崔鹏:确实存在一定的可能性，但我们要从理论或方法论上来看，澄清其可能性的大小。

具体来说，比如两个系统进行对话，这在表面上看起来像是两个人在对话。但实际上，这可以被视为两个系统在其训练数据分布上进行的多步采样过程。其实现在的系统实际上没有能力把所讨论的问题吸入模型中，然后重新进行训练和优化，因为即时训练大型模型需要非常长的时间。

它之所以看起来有多轮对话的能力，是因为每次对话结束后，比如A系统给B系统说了一段话，它就会把你的上一个问题和新说的话作为上下文输入到系统中。然后根据这个上下文在概率分布中进行采样，就会采样到一个不同的区域，这个区域是基于使用者之前给的条件。

所以，它既是对你的回应，也看似是一种对话的回答。然后B又给A发言，A再次对其概率分布进行采样。其实AB的概率分布是静态的，所以在整个对话过程中并没有产生新的价值观或类似的东西，只是实际上是在数据分布中采样到了不同的区域，之所以采样到不同区域，是因为输入条件变了。大体上是这样一个过程。

卢菁 : 这个话题也让我想到了最近在网上看到的一些很有意思的视频，就是两个大语言模型产品，通过语音相互对话聊天，甚至可以碰撞产生一些观点。这种对话流会不会形成一种学术界的新的技术发展趋势？比如通过AI之间互相对话，重复去学习和去训练一个新的模型，如果走这种技术路线靠谱吗？

赫然:目前大模型可以生成代码和文本，并且甚至可以实现相互交流和对话，不过，大模型其实并非真正理解所生成的内容。

我们从训练方法来看，目前大型模型训练主要采用的是生成式训练方法。在这种方法中，模型接收提示作为输入条件，然后这些条件信息被输入到系统中。基于这些输入，模型可以进行不断的迭代和反馈，从而生成结果。这种方法允许模型根据给定的条件信息，不断调整和优化其输出，实现更加精准和相关的响应。简而言之，大模型系统训练依赖于输入的提示和条件，通过不断的迭代过程来改善和精练其生成的结果。这个过程是一种动态的、基于输入的反馈机制。

当前的大模型系统可以看作是一个智能代理（agent），能够与不同的智能体进行交流，并整合相关工具。例如，最新版本的大语言模型GPT可以整合PDF文档处理，甚至与机器人交互，这是大模型的基本能力之一。此外，不同的代理之间也能进行交互。

不过，多个代理之间的交互路线，是学术界正在探讨的问题，包括一些关于神经智能的研究也在探索这些方面。而规范这些交互和学习过程，以及谨慎使用生成的数据和代码是重要的，因为可能包含一些不可预测的内容。如果用作娱乐或助手，这些技术可能更有意义。总体来说，这些大型模型的应用仍处于探索阶段，需要谨慎处理。

崔鹏:我们可以尝试结合使用不同的人工智能模型，但关键问题在于是否能实现“1+1大于2”的效果。例如，利用GPT的输出去提升另一个不那么成熟的模型，这在理论上是可行的。这种方式可能利用一个强大的模型来提升另一个相对较弱的模型，或者通过较弱的模型学习更强大的模型。

然而，如果两个模型水平相当，但要实现“1+1大于2”的效果可能会更具挑战性。这就像是人尝试用左脚踩右脚来把自己推高一样。如果一个模型已达到其能力边界，再用它的输出去优化同一模型，可能不会显著提升性能，因为这仍然局限于模型原有的能力边界。

如果结合两个擅长不同领域的模型，可能会实现更综合、更强大的效果。但这并不是一个特别充满想象空间的领域。如果一个模型是欠训练的，通过这种方法可能实现一定程度的提升。也有可能在大型模型中出现一些意料之外的现象，但我个人没有尝试过。总之，这是一个值得探索的领域，但也要考虑到可能的局限性。

卢菁：语料数据作为大语言模型训练的核心，国内外的大模型在中文服务方面是如何做的？评论区有网友提问，如ChatGPT这样的大模型产品，在中文语料的处理上，甚至比国内的一些大模型使用体验更好一些，这是如何做到的？它是把英文的语料翻译成中文吗，还是直接使用公开的中文语料训练？

赫然:具体到ChatGPT的训练方法，仍有许多技术细节并没有完全公开。因此，我们不完全了解这些模型的训练细节。但是，如果要探讨为什么GPT在使用中文时效果较好，可能原因之一是它在长文本处理方面表现出色。这可能与它在训练时使用的较长的token或训练数据有关。

然而，从理解能力的角度来看，这并不意味着它在所有方面都表现得很好。例如，当涉及到成语等特定类型的中文表达时，我们在测试时发现，GPT可能并没有完全掌握成语的使用。这表明虽然在某些长文本处理方面效果较好，但在理解特定文化或语言元素方面，仍有提升空间。

崔鹏:在整个GPT系统中，实际上只有一小部分参数是直接服务于语言处理的。大多数参数用于存储知识，因此这个系统可以被视为一个配备了知识库的智能代理。这个知识库是共享的，意味着如果系统最初只能处理英文和法文等外语，然后要使其具备中文处理能力，原则上只需要对一小部分参数进行优化。优化后，系统能够处理中文token和英文token，或者是一种更通用的token形式。只要这些token能夠映射上去，系统就具备了处理该语言的能力，使用其世界知识库来理解语言的含义。

然而，如果系统没有使用大量的中文语料库进行训练，比如处理成语时就可能表现不佳。这是因为成语的token可能无法映射到它的通用token空间中，从而无法对接到它的世界知识库。因此，虽然在处理中文特有元素，如文言文或成语方面，我们的系统可能优于GPT，但我们仍担心在构建和匹敌GPT庞大的世界知识库方面存在挑战。达到与这种知识库相同的水平是一个艰巨的任务。

卢菁： 我们注意到国外大模型的发展十分迅速，国内外大模型有哪些差异，或者说决定大模型内容差异的核心因素有哪些？

赫然 :生成式大模型涵盖了很多研究内容和应用领域。在中文语言服务方面，我们在训练过程中对中文语言的理解方面有一定优势。至于图像生成方面，已经有很多很好的应用服务，这里并不存在太大的差距。但是，具体的差距可能出现在某些特定任务上，或者更难的任务上，比如推理方面。这种差距可能源于大规模数据的处理或特定训练方式。具体来说，有些细节可能并不会公开，所以很难评估差距的具体程度。

崔鹏：这种差距源于其在研究、工程能力、视野和技术理想主义等多个综合的复杂因素。但是我们有机会进一步缩小这一差距。过去几年中，我们已经完成了大量工作并取得了进步。例如，我们在人工智能的语言能力方面，通过大规模中文语料的训练，可能在某些方面超越了国际先进水平。但在世界知识库方面，我们总体上可能仍然不如头部公司，因为他们能访问全网最高质量的数据资源。不过，我们也需要保持谨慎和敏感，特别是考虑到像OpenAI这样的机构可能不会完全公开他们的技术发展。因此，我们的应对策略应该包括保持研究和技术路径的多样性和前沿性。

03 AI治理：不仅需要规范，也需要技术治理

卢菁： 在国内，人工智能的研究主要集中于技术边界的拓展，而相对较少关注让技术规范化或收敛的过程。目前的努力更多是在防止技术过度发散至失控，仍处于技术扩张的阶段。我们希望开发的人工智能工具能够为我们服务，同时保持其价值观与人类一致。目前我们主要通过哪些技术手段，能够让它的“价值观”保证安全性呢？ 以及做人工智能产品时候，我们是否有一些可以量化可执行的准则去规范它？

赫然：当前，大模型人工智能系统变得越来越复杂，其参数数量众多，且很多情况下它们的工作方式不透明且难以解释。为了实现伦理对齐或相关对齐，需要在多个方面进行精确的调整，其中包括数据端的精确标注和推理、算法端的具体设计，以及使用端的应用对齐。

在数据处理阶段，重要的是对数据进行准确的标注和处理。在算法设计方面，需要进行具体的设计工作以适应特定的需求。最后，在使用过程中，这些系统通常基于提示学习的过程运行。在这个过程中，需要对提示进行变换或设计安全处理。用户在使用过程中，对系统输出的结果进行分析和处理也很关键，以确保能够提供良好的服务效果。总体而言，这个过程涉及从数据处理到算法设计再到最终使用的精确对齐和优化。

崔鹏:是的，人工智能的伦理对齐是一个复杂的问题。我看到的一个主要挑战是，目前的大型人工智能模型变得越来越复杂，参数数量众多，而这些系统很难解释其内部工作机制。要实现有效的伦理对齐，我们需要从数据、算法到最终使用各个环节进行精确调整。

在数据方面，我认为关键是避免提供有害数据，并进行精确的数据甄别。这也涉及到在数据层面如何做更多的工作，包括选择哪些数据能增强人工智能的能力。在算法方面，我觉得需要设计算法来发现数据中的本质、稳定且可解释的结构。目前，我们的算法在处理数据拟合和虚假相关性方面还面临很大挑战。此外，人工智能模型的评估机制也是一个需要进一步研究的领域。我们需要明确人工智能算法在什么条件下是高度可靠的，以及在何种情况下可能不那么可靠。

因此，评估机制在确保人工智能的负责任和可信性方面非常重要。我相信我们需要采用技术手段来治理技术，如使用技术系统来识别并加固人工智能的脆弱性。虽然法规很重要，但为了真正落地，还需要治理的技术支持。

卢菁：目前业界对于人工智能的垄断性有所担忧，这也是很多AI领域的科技学家们探讨的问题：人工智能依赖于大型知识库，而目前这些知识库和大量数据主要集中在少数公司手中。例如，像Meta和OpenAI这样的公司在大型AI模型的开发上占据主导地位。这种情况在科研行业也存在，资源和数据趋向于聚集在头部机构，而普通高校的研究者可能因为缺乏数据和计算能力而难以参与。这是一个值得深思的话题。随着大型AI模型的发展，是否会导致AI技术的霸权最终只掌握在少数人手中，未来是否可能会造成“AI霸权”问题？

赫然：人工智能目前引发了巨大的变化，也促进了计算资源的快速进步。过去半年里，许多大公司，如抖音和快手，都在大规模采购GPU显卡，显然是为了训练大型模型。人工智能和大型模型包含了许多不同的分支，而大型模型本身也有不同的类型。比如，训练自然语言处理的大型模型可能需要成千上万的GPU显卡，但其他类型的大模型可能不需要这么多。

同时，大型模型的小型化和具体应用并不总是需要大量计算资源，比如在许多垂直领域，足够的数据和资源可能更重要。另外，一个当前热议的话题是大模型能力涌现。当模型达到一定程度时，就具备了相应的能力，进而不需要更多的计算资源进行训练了，也就是说，并不是所有情况下都都需要超大规模的大模型。大型模型的小型化和在垂直领域的应用，对于资源和计算需求来说是一个重要方向。这种趋势可能有助于更广泛地应用AI技术，尤其是在资源受限的环境中。

人工智能和大模型领域有许多基础研究正在进行。例如，高等学校进行基础研究时，进行这些基础研究时，并不需要大量的GPU显卡。只有在执行特定任务时，比如处理大数据或训练复杂的模型，我们可能会需要更多的计算资源。

不过，我注意到在大模型应用的某些方向，对高级计算资源的需求可能导致了一定程度的垄断。特别是在某些任务中，需要使用大量的GPU卡，这可能会造成资源的集中，进而影响到该领域的多样性和创新。这种情况让我认为，保证计算资源的合理分配和可访问性是非常重要的，以保证这些领域的健康和可持续发展。

崔鹏 ：是的，人工智能领域中的数据和算力资源集中在少数头部公司是一种普遍现象，这反映了power law（幂律分布）或马太效应。比如在互联网领域，搜索信息大多集中在谷歌、微软、百度这样的大公司，社交网络也是如此，主要集中在像腾讯这样的公司。这是一种自然现象，因为资源集中后可能才能更高效地利用这些资源。当然，我们需要设计良好的分配机制和规范。

对于人工智能，尽管目前有些人担心它可能会毁灭人类。我个人更倾向于从工具的视角来看待这个问题。我也同意赫老师的观点——“学术界应该保持不同的视角”。对于集聚效应或马太效应，破解它的最好方式是保持技术和研究的多样性，并通过技术的不断迭代和升级来实现资源的流动。例如，社交网络领域，MSN曾经占据主导地位，但后来Facebook出现并逐渐取代了MSN，而现在Facebook也显示出下滑趋势，可能又会有新的社交网络出现。这些都是技术和市场动态的一部分。

正是因为这种不断的技术迭代，资源才能形成一种流动。从学术界的角度来看，更应该维持这种多样性。例如，目前像ChatGPT这样的系统和生成技术已经被证明是可行的，这其实已经成为了一个行业问题。学校应该专注于研究更好的学习机制，或者更安全的学习机制。这些技术的储备可能会带来新一轮的升级换代。学校不应该专注于与企业竞争算力和资源。企业当然应该做这些事情，这没有问题，但学术机构可能应该更多地探索多样性的路径。学校的角色应该是在其他多样化的路径上进行更多的探索，为技术发展贡献新的思路和方向。这种探索可能不需要巨大的算力或资源，但可以为行业带来创新和新的发展方向。

卢菁 : 从标准制定的角度来看，目前全球的人工智能伦理标准化的现状是如何的？行业主要在解决哪些方面的核心问题？

赫然 : 关于人工智能安全的政策，在安全话题方面受到了广泛关注，这是一个热门话题，特别是今年8月，七家美国公司向白宫请愿，承诺将在安全、伦理和生成结果方面进行规范。

同时，今年美国白宫也发布了相关政策来规范生成式内容，例如要求生成的内容都需明确标签以进行规范。去年，随着生成式人工智能的快速发展，这一领域引起了广泛关注。这些关注导致了一系列相关的政策和论点的出现。欧洲也在进行类似的规范化工作。这些政策和规范是技术发展后进一步规范化的过程的一部分。

总体上，我觉得这些相关的政策一方面是为了规范技术，另一方面也是为了确保技术的积极和快速发展。这些规范的目的是保护隐私和确保技术能够在正面方向上快速发展。

崔鹏:这是一个非常系统性的问题。近来，各国在人工智能伦理标准方面的动作频频，但不同地区的方法有所不同。例如，欧洲在这方面相对更为激进，在推动一些有影响力的规范，比如对不同应用场景的AI风险进行分级，类似于电影分级制度，不同场景级别对人工智能的约束也不同。我认为这些做法很有参考价值。

相比之下，中国和美国采取了更现实主义或实用主义的方法，即“走着瞧”的策略，倾向于在问题出现后再制定规范。这种方法虽然有助于避免过早的规范限制技术进步，但也可能导致问题的延迟解决。我们可能需要在国内加大对人工智能伦理、算法偏见、公平性和安全性等方面的技术投入。

总的来说，从人工智能治理的角度来看，光靠规范是不够的。因为算法非常复杂，最终治理算法还需要用算法，用技术来治理技术。我们需要在人工智能的安全、伦理治理等方面拥有足够的技术基础。这在一定程度上也可以促进我们制定更合理的规范立法。有时候，看似合理的规范可能并不适合作为技术规范，因为它们难以落地或者过于严格。所以，技术发展和伦理规范应该是一个相互作用的过程。