AI创新理念与路线之争：有效加速还是超级对齐？

  2023年AI大模型快速迭代发展，渗透到人类生活的方方面面。面对超级AI的逐渐涌现，人类社会也呈现出不同程度的担忧，这其中逐渐分成了有效加速和超级对齐两个阵营。两大阵营的分歧最终在OpenAI高层人事变动中被投射到人们面前。有效加速与超级对齐分别代表了什么立场？这两种理念对我国AI发展有什么影响和启示？除了有效加速和超级对齐这两条路线，还有没有第三条？

  2024年1月25日，腾讯科技向善创新节——“AI创新理念与路线之争：有效加速VS超级对齐”专题论坛在线上举行。论坛由腾讯研究院、大连理工大学人文学院、中国伦理学会科技伦理专委会联合主办。论坛由三场主题报告和圆桌讨论组成。论坛具体讨论了有效加速与超级对齐的理念分歧和挑战，中国在AI科学技术创新和治理方面的实践经验以及面临的挑战，以及如何寻求一条更符合中国特色的AI发展路径等问题。我们将会议实录刊发在这里，供各领域思想者参考。

  腾讯公司副总裁、腾讯研究院总顾问杨健，大连理工大学人文学院院长、教授、中国伦理学会科技伦理专委会主任李伦出席开幕式并致辞。论坛开幕式由腾讯研究院研究员胡晓萌主持。

  杨健先生在致辞中指出，随着AI慢慢的提升，尤其是超级AI的逐渐涌现，人类社会正遭受前所未有的挑战。OpenAI高层人事变动在科技界引起了轩然，掀开了AI创新理念之争的序幕。这场风波不单单是关于组织权力的争夺，更是关乎AI创新发展趋势的根本性辩论——是“有效加速”，还是“超级对齐”。我们应该深入探讨这两种理念的历史由来与演进，并且结合中国国情和语境来分析两者的合理性、可行性以及它们在实践中可能遇到的挑战。期待通过这次论坛，能够激发出更多关于AI未来发展的思考，为中国AI科学技术创新与治理提供参考，为我们如何在技术进步与人类福祉之间找到平衡点提供思路。

  李伦教授在致辞中指出，随着ChatGPT的出现以及更新迭代，关于AI伦理风险的讨论又一次被引爆。AI伦理风险慢慢的变成了与气候变化以及核扩散等相提并论，并能够影响人类未来的全球性重大线年多国共同签署了《布莱切利宣言》，这代表着AI伦理治理不仅应当走技术伦理治理的道路，也要走全世界伦理治理的道路。ChatGPT之父奥特曼也将2023年定为“世界开始认认真真地对待AI的一年”。面对AI的发展，目前出现有效加速和超级对齐两种思潮。有效加速崇尚技术创新，超级对齐认为AI的发展首先应当考虑其伦理影响和社会后果。人类要走向未来，就必然会在科学技术创新与风险治理的张力中前行，对于有效加速和超级对齐的讨论将有利于政策制定者和科技从业者。

  湖南师范大学道德文化研究院副院长、哲学系教授文贤庆，清华大学社会科学学院教授、清华大学科学与社会研究中心主任、科技发展与治理研究中心副主任李正风，之江实验室智能社会治理研究中心副研究员赵宇超分别进行了精彩的主题报告。

  文贤庆教授以“技术与人类：裹挟还是引领？”为题进行了主题报告。他系统梳理回顾了有效加速与超级对齐的理念起源与演变。有效加速认为社会的改变依赖技术，这种观念由来已久，自从20世纪初的未来主义之后，人们就开始不断关注现代技术对于人类生活的影响。二战之后的社会建设使人们相信技术能进一步解放我们的生产力。当时，左翼加速主义者认为，资本主义阻碍了技术的发展，应当通过技术的发展埋葬资本主义，使人类社会进入新形态。英国右翼哲学家尼克·兰德（Nick Land）重新发掘了“加速主义”的内涵，放弃了以往左翼加速主义者的斗争观念，提倡在资本主义逻辑中加速前进。硅谷当下流行的有效加速融入了物理学、生物学以及“超人类主义”（Transhumanism）等内容，内涵更丰富，也显得更为“科学化”。他们认为，有效加速运动并不是一场社会运动，甚至也不是一种意识形态，而只是一种对真理的承认。

  超级对齐指通过对AI系统的行为进行引导，使其能够符合设计者的意图，其方法是创建一个“大致相当于人类水平的自动对齐研究员”（automated human-level alignment researcher），然后用它来执行针对AI的对齐工作。但是，AI对齐面临许多难题。

  第二，人们在设计AI的过程中，难以完全顾及其程序可能产生的所有后果，AI在执行设定程序时，可能带来意料之外的后果；

  第三，人的目标是多样的，人把这些目标传递给AI时，会对不同的目标赋予不同的权重，在这种情况下，AI出于优化的考虑，可能过度重视那些被赋予高权重，并且容易被检查的目标，而忽略了其余目标；

  文贤庆还从目标、方法和价值层面对有效加速和超级对齐进行了对比。从目标角度看，有效加速和超级对齐的相同点是都认为技术的发展不可逆转。不同之处在于，有效加速认为我们应当用技术来引领人生，超级对齐认为人生有一个终极目标，应当用人生的这些终极目标来约束技术。

  从方法角度看，有效加速和超级对齐的相同点是都认为不可逆转的技术是驱动我们的，不同之处在于有效加速认为我们应当不断地刺激和发展技术，超级对齐认为发展技术要有一个限制和规约。

  在价值立场上，有效加速和超级对齐都承认技术是有价值的，不同之处在于有效加速认为技术的价值就是带动人类向前发展，但不顾及最终的后果，超级对齐认为技术要服务于人生。

  最后，文贤庆指出，OpenAI人事变动背后隐含的是关于技术和人类处于何种关系的考量，有效加速和超级对齐是人们面对技术发展时的两种不同选择。除了有效加速和超级对齐，AI技术发展是否有第三条道路？他提出用去中心化、民主化的防御机制应对技术发展问题，是具有可行性的第三条路径。他认为，当下的技术发展不可逆转，我们应当按照人类理想的状态去实现人类的价值，在接受人与技术相融的时候，更多的去呈现丰富性与多样性。

  李正风教授做了“前沿科技伦理治理与新型发展观”的主题报告。他认为，OpenAI “有效加速”与“超级对齐”的分歧和讨论是前沿科技伦理治理面临深层次挑战的一个缩影，其反映了不同发展观之间的冲突和碰撞。

  李正风认为，工业化以来，加速发展是人们不断追求的目标。科技是加速发展的重要资源，摩尔定律是加速效应非常突出的一个表现，加速使人类走向了一个以科技为基础的科技时代。在漫长的历史过程中，人类实现了从动物变为“造物主”的转化。而今，人类“造物主”面临新的挑战。

  首先，人类对自然对象的控制和改造从人类外部转移到人类自身，这种转变正打破人类的“类同一性”、挑战“人类”共有共享的良知和“人性”、还有可能产生生物学意义上的鸿沟。

  其次，对人类行为的技术性替代从肢体上升到头部，挑战着人类因认知力、决策力而拥有的独特地位，AI系统的目标与人类如果存在偏差，很可能作出与人类价值观相违背的决策，产生不可控的后果，超级对齐面临着对齐难题。

  基于此，李正风认为，新兴科技伦理的新特点是问题发生前移、分布广泛渗透、影响深层颠覆、不确定性增强、专业性不断升级以及场景化愈益凸显。科学技术的发展可能会导致“科林格里奇困境”。因此，科技伦理治理不可能依赖完全的“结果治理”和绝对的“预防原则”，应当走向“敏捷治理”和“全过程治理”。在“敏捷治理”和“全过程治理”中，树立每个人都既是“发展者”又是“治理者”的新理念，摆脱“发展”与“治理”的二元对立，摆脱“发展者”与“治理者”的对抗和博弈，应走向“反思性发展”的新型发展观。他认为，这种新型发展观以良性发展为目标，形成敏捷治理新规则，融“敏捷治理”和“全过程治理”于发展进程中，把握发展方向，塑造发展新路径。“反思性发展”的新型发展观主要包括发展目标的集体磋商与共识塑造、发展方向的前瞻预见与集体选择、负责任的研究设计与可控的社会实验、实时的过程评估与风险防范以及有效的集体纠错与新路径的集体建构。

  赵宇超副研究员在“智能社会进行时：中国本土经验和AI理念创新”主题报告中指出，中国自己的AI理念除了有顶层设计和框架的指引之外，理解不同地区具体情境下的相关实践也很重要。她认为，宏观的理念往往需要自下而上的实践得以呈现，在地化和创造性对发展和总结我们国家自己的AI原则是不可或缺的要素。信息化、数字化、智能化以及智慧化等每个阶段都有自己独特的实践重点，他们背后隐藏的技术理念也是不尽相同的。在信息化阶段，技术被视为工具。随着物联网技术的成熟，人们对量化理性、系统论以及以人为本的理念展开了深入的研究。在具体实践中，这些阶段是交织在一起的，并不能够严格地进行划分。基于基层的实践情况，中国当下可以概括为技术实用主义和制度解决主义。技术实用主义以需求为导向，满足人们高频次的需求。技术实用主义的另一个要点是“有什么用什么”，利用手边的已有资源来开脑洞，和最新的技术做巧妙的嫁接，从而以较低的成本解决实际问题。制度解决主义认为面对AI的发展，制度机制应当先首先确立好。有效加速和超级对齐都着重强调了技术决定论，但技术并不能够起决定作用，社会在技术产生、技术选择以及技术使用方面始终发挥着重要作用。她提出，应当反思以ChatGPT为代表的新一代AI为谁赋能、赋能的形式、性质、机制以及后果是什么、AI在什么样的社会文化结构中拥有怎样的权利，这些问题的厘清可以帮助我们找到适合中国实际情况的AI理念和治理路径。

  圆桌讨论由大连理工大学人文学院院长、中国伦理学会科技伦理专委会主任李伦教授主持。中国社科院哲学所科技哲学研究室主任段伟文研究员，华南师范大学哲学与社会发展学院闫坤如教授，香港岭南大学副校长、IEEE Fellow姚新教授，腾讯杰出科学家、IEEE Fellow刘威参加圆桌讨论。这些来自人文学科和科技界的专家学者从各自独特的视角，就有效加速和超级对齐进行了深入的对话。对话不仅涉及中国在AI科技创新和治理方面的实践经验以及面临的挑战，也探讨了在中国社会背景下对两种理念的理解，寻求一条更符合中国特色的人工智能发展路径。

  李伦（主持人）：关于科技创新和社会发展的讨论由来已久，历史上也出现过技术乐观主义和技术悲观主义的讨论，这些年来出现了有效利他主义和有效加速的讨论。我们今天讨论的有效加速和超级对齐，因为OpenAI的人事变动和路线之争被推上了热搜。这种争论可能会左右以OpenAI为代表的AI公司发展的命运，更会影响到各个国家的发展甚至是人类的未来。首先请各位嘉宾从总体上从自己领域的视角来谈一谈对有效加速和超级对齐两条路线的理解和看法。

  闫坤如：有效加速认为人类应当无条件地推动技术创新，超级对齐认为要解决AI系统与人类价值观和意图对齐的挑战。有效加速和超级对齐反映出关于科学领域的两种不同的态度，这两种态度在一定程度上彼此冲突，但却是推动科技进步必不可少的两种声音。

  段伟文：有效加速认为超级智能的出现可能会带来科技上的巨大突破，人类目前由达尔文式演化而来的智能形态，在未来可能会发展成为一种新的形态。超级对齐隐含一种忧虑，将来人类越来越依赖于AI是不是意味着人类文明的衰落。超级对齐最重要的点是人类是否可以依托AI来进行价值对齐。

  刘威：超级大国以及超级大国的某些公司在垄断AI技术，以OpenAI公司为例，我们并不知道OpenAI公司智能研发到了何种程度，其公司内部人员也并非全部都知悉公司智能研发进展，因而产生了最近的人事变动风波。AI由人类创造，一定要与人类价值观对齐，对齐的目标和手段能更加进一步探讨。对齐应当由负责任的大国主导，而非仅仅一个超级大国主导。对齐的技术应当开源，对齐应当向包括大学在内所有严谨的机构开放。在商业目的的驱使下，目前各大公司对齐的目标并不是以向人类价值观对齐为重点的，而是以自动化智能化为重点，使用更强的算法和算力来为系统升级。

  姚新：有效加速和超级对齐的定义并不清楚，其所指向的目标不明确。有效加速认为技术可以加速社会的进步，但什么是社会的进步、如何衡量社会的进步以及谁来判断社会的进步等这些问题并没有说清楚。超级对齐要对齐人类的价值观，什么是人类的价值观、对齐谁等问题并没有明确。有效加速和超级对齐更像是手段，在目标没有共识的基础上如何讨论手段是值得思考的问题。

  李伦（主持人）：有效加速和超级对齐在理论概念上还有很多分歧，其背后还存在着事实的判断。AI到底存在哪些风险似乎还存在必要的实证研究。有效加速侧重于考虑近期的风险，超级对齐侧重考虑远期的后果，两者在事实判断上并非在一个频道上讨论问题，如果在事实判断上有更多的共识，两者可能会达成某种程度上的和解。回到中国的情况，在AI创新和治理实践两个层面，我国是否已经体现出了有效加速或超级对齐的理念，具体有哪些例子。

  刘威：在企业中，有效加速和超级对齐一直在实践中。在我们腾讯公司，在基础设施上，无论是流程智能化，还是一直在用AI降低成本。一个组织的成本投入有限，把所有的有效成本投入到最应该投入的地方。以上这些都是有效加速的体现。目前国内的大模型和美国相比还有差距，技术层面上的超级对齐也存在差距，但是我们做到了有效的对齐，比如目前我们的大模型对齐了中国的国情、中国的法律法规、中国的价值观。一些人认为，对齐就意味着AI越来越接近人、越来越智能化，从这个层面来说，目前国内的大模型在数学、物理等理科问题的能力还是相对初级，而美国在这方面做的要比我们好一些。

  李伦（主持人）：我们的祖国似乎没有出现纯粹的有效加速和超级对齐的理念，我们国家比较重视有效加速和超级对齐两者的平衡关系。中央办公厅和国务院办公厅颁发的《关于加强科技伦理治理的意见》以及科技部等十部委颁发的《科技伦理审查办法（试行）》强调要协调好科技创新和伦理风险之间的关系，这其间强调的更多的是一种相称的原则，治理力度与风险程度相称，治理方式与风险类别相称，国家治理与国际治理相称。中国AI发展存在着一些问题和挑战。为了应对这样一些问题和挑战，有效加速和超级对齐这两条路线分别对我们提出什么要求？其争论的焦点和本质在哪里？

  段伟文：在理解力等方面超过人类的通用AI确实有可能会出现，风险也必然会产生。国家目前很重视通用AI的风险。虽然技术的发展目前受到各种客观性的限制，但各大公司和企业依旧在加速发展AI技术。日前OpenAI公司的一些做法具有很大的表演性，具有炒作技术能力的嫌疑。在对齐这一方面，监管、科技伦理规范以及法律规范都做了很多努力，企业在包括价值观对齐的方面也做了很多努力。下一步我们需要加强的是科研理论的研究，对齐在经济学以及社会学等学科方面都有许多理论，这些理论并没有解决超级对齐该向谁对齐的问题。理论层面的未统一意味着将来的对齐可能是地方性的，中国有中国的对齐的方式。

  闫坤如：有效加速和超级对齐更多的是针对AI技术以及颠覆性技术来讨论的。目前各个国家已经将AI作为国家发展的重要战略支撑技术，成为国际竞争的的主要技术因素，因为AI确实能够给社会结构、生产方式、生活方式、思维方式以及价值观带来重大改变。基于国际竞争力，我们国家应当大力发展AI。AI技术具有不确定性和风险属性，我们要做好引导和适应AI技术的发展。对于AI技术，我们应该采取审慎的态度，为技术的研发和应用划出底线和范围。有效加速和超级对齐争论的焦点是人类对于技术的态度。技术工具论认为技术是工具，是为完成人类目的的手段。技术实体论认为技术是有主体性的，是一种独立的力量。针对目前技术的发展，我们应当对技术进行人文主义的反思。

  李伦（主持人）：与西方社会相比，中国语境下对于“有效加速”与“超级对齐”有何不同？对于路线的实践需要考虑到哪些中国社会的独特之处？

  姚新：与西方社会相比，目标是不一样的。因为价值观是不一样的，我要用技术做什么事情是不一样的。对于对齐而言，“谁”来对齐以及对齐“什么”是不一样的，超级对齐在不同国家的含义是不同的。有效加速认为技术一定可以加速社会的变化，这种变化是否可以看作是一种进步，在不同的国家是不一样的。AI治理并不妨碍创新，要做什么样的创新是应该考虑的事情，但前提是技术创新的目标要明确。

  段伟文：中国社会对于新技术的态度还是比较乐观的。随着ChatGPT等大模型的出现，中国的一些专业学者以及科技从业者认为全方位超越人的AI会有出现的可能性。OpenAI公司此次提出超级对齐有可能是对技术进行炒作，提升AI技术监管的门槛，以防止后来者超越其技术。在中国，大家都认为一方面应当加强伦理以及法律上的规制，但又不希望规制影响中国AI的发展，尤其是当AI作为一种全球的竞争力时。

  李伦（主持人）：在中国的语境下，“有效加速”与“超级对齐”哪一种理念更适合我们的社会发展环境？二者是否有相协调或共存的空间？

  姚新：这两者应该是相互共存的，目标明确的时候你可以谈加速，当真正要进行代表有效加速的技术驱动时还可能会带来负面效应，负面效应不是我们所欲求的，不符合我们的价值观，这个时候就需要超级对齐。因此，二者一定是相辅相成的。伦理治理并不是阻碍AI的发展，而是鼓励研究人员寻找不同的创新路径。

  闫坤如：有效加速对于技术的发展持一种乐观主义态度，超级对齐对技术的发展持悲观主义态度。但对于一个国家来讲，大力发展AI与提前评估预测AI技术带来的风险，并谨慎使用之间并不矛盾。在发展过程中，我们既要看到AI的颠覆性作用，也要看到它的风险属性。许多人认为超级对齐需要对齐人类的价值观，这是无法实现的。超级对齐需要处理好伦理共识与不同价值观之间的关系、统一的价值标准与不同应用场景之间的关系、终极的伦理意义与短期价值目标的关系。对齐既是一个规范性问题，也是一个技术性问题，怎样将价值目标转换为具体的AI技术设计标准，实现具体的场景落地是一个重要的问题。

  李伦（主持人）：在中国的社会背景下，对未来AI科学技术创新，以及治理的发展应注意哪些问题以寻求“有效加速”与“超级对齐”之间的平衡？

  段伟文：首先，AI的发展面临国内和国际对接的问题，中国经验可以为世界AI的发展做出贡献。中国目前在基础研究方面属于世界中的第二梯队，在垂直应用方面比较擅长。其次，中国的AI立法更多的是站在有效加速的理念上，AI伦理规范更多的是站在价值对齐的理念上。AI伦理审查可以作为下一步的抓手。超级AI应当被使用起来，从而更好地建设数字中国。最后，有效加速和超级对齐还隐含着人们对于AI的信任问题，应当如何构建AI信任机制是一个非常重要的问题，这不仅仅是哲学问题，还是现实问题，事关每个人的生活。

  李伦（主持人）：结合中国的AI实践与社会背景，您认为是否存在独立于“有效加速”与“超级对齐”之外的第三条AI发展路线，以寻得更好的、更符合中国特色的AI发展未来？

  闫坤如：对于AI的发展，我们既要加快其速度，增强我们国家的竞争力，也要预测和评估AI所带来的风险，避免AI技术失控。首先，我们要发展中国特色的AI，我们不能被西方的价值观所左右发展。我们要考虑我们的价值共识、共同的伦理规范、文化特点、社会环境以及国人的接受度。其次，要对AI技术进行人文主义反思，引导和规范AI的发展。最后，AI一定要发展，在发展中我们不断解决出现的问题。

  段伟文：中国应该走出一条使社会可以接受，有很大创新，使科技更加具有可塑性的AI发展道路。可以把风险识别以及伦理审查等放在AI发展的全生命周期之中，但在具体操作时要避免这些措施变成一种繁文缛节式的阻碍。我们可以从我们以往科技发展的经验中汲取智慧。

  姚新：我们真正要发展AI不仅仅要发展AI的技术，还要看发展AI技术的土壤和环境。我们应该在怎么创造这个土壤和环境方面多下功夫，使符合中国价值观的技术创新不断涌现出来。社会发展永远是和技术的突破纠缠在一起的，人类的价值观是会变化的，有效加速和超级对齐不是一个静态的概念，而是一个动态的概念，我们应该抱着动态的概念去看待有效加速和超级对齐。

  最后，李伦教授作论坛总结。他指出，在未来的AI发展中，我们既要放眼全球，尊重国际共识，也要立足中国语境，坚持中国立场。为此，需要更新发展观，倡导新型的反思性发展观，合理处理有效加速和超级对齐的分歧，正确处理科学技术创新与风险治理的关系问题。AI伦理治理不仅要走技术伦理治理之路，也要走全球伦理治理之路，一方面，我们应该秉持以人为本，科技向善的理念和价值原则；另一方面，要坚持公平公正原则，尊重他国主权和法律，帮助发展中国家加强国际合作和对话。

  此次论坛不仅是对有效加速与超级对齐理念之争的探讨，也是对科技与人类未来关系的深刻反思。在追求科学技术创新的道路上，我们不仅应当不断审视人与技术的关系，而且要审视技术背景下人与人的关系。我们希望未来能够持续推进富有建设性的、跨学科的对话和讨论，共同探索AI时代人机和谐共生的美好未来。