2024年7月3日，2024中国数字经济发展和治理学术年会在清华大学成功举办。本届学术年会聚焦“数据要素、人工智能与数智时代的理论创新”，邀请国内外40余位专家、学者及机构代表进行主旨演讲和交流。来自清华大学、北京大学、中国人民大学、中国科学院大学、中国社会科学院大学、浙江大学、南开大学、上海交通大学、西安交通大学等高校和数字经济相关科研机构及企业代表共400余人出席线下会议。会议通过多个平台同步直播，当天信息浏览量超过十万人次。
上海交通大学国际与公共事务学院院长、中国城市治理研究院常务副院长、教育部长江学者特聘教授吴建南以《人工智能安全治理规则体系：从“三国演义”到“同舟共济”》为题进行了主旨演讲。本文根据吴建南教授现场发言内容整理。
非常荣幸有机会汇报近期的研究，这个研究来源于国家社科重大项目“特大城市社会治理数字化转型的机制与优化路径研究”，其中子课题之一是数字化转型过程中的风险防范。
去年，我们梳理过中国城市治理数字化转型应用场景，21个特大城市103个应用场景中绝大多数都使用了人工智能技术，而人工智能技术在应用过程中如何确保风险可控、安全可靠至关重要。
今天我向大家报告的是，美国、欧盟、中国这三个国家和地区在人工智能安全规则治理方面处于什么样的状况。初步分析表明，三个国家或地区的差异非常大。很期待我们一起研究，能够避免零和博弈，实现同舟共济。
这段时间以来，人工智能技术特别火，从2022年11月份ChatGPT，到今年sora的出现，大家对人工智能的期待特别多，作为一个共性技术它能够赋能千行百业；在期待的同时，越来越多的人在问：人工智能是不是总是安全？
今年4月15日HAI报告讲，2023年全球已报告的人工智能事故已经超过100起；6月4日，OpenAI和DeepMind的前员工和现任员工联名发布公开信，警告人工智能产品存在风险、缺乏监管，最终可能威胁人类生存。这都是提醒我们：人工智能并不见得总是安全。
党和国家领导人持续关注人工智能安全治理。2018年10月，习近平总书记在第十九届中央政治局集体学习时强调，“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。”2024年6月，总书记进一步指出，“坚持以人为本、智能向善，在联合国框架内加强人工智能规则治理。”
为什么人工智能规则治理非常重要？TEF框架告诉我们，客观的技术应用到组织中有一个发挥作用（Enacted）的过程，而其结果或是正面或是负面的重要原因在于制度安排。我们希望人工智能向善，能够赋能千行百业，但人工智能不可避免地也有特定的负面结果。要想找到根本的解决之道，很重要的是在制度安排上有所调整。
我和各位分享的研究问题包括两个：第一，不同国家和地区人工智能安全治理的规则是什么？有何异同？第二，从协同发展出发，如何进一步推动全球人工智能安全治理？我们选择了AI模型数据最多的美国、欧盟和中国三个经济体作为研究样本。具体而言，美国的AI私人投资额排在第一，其次是中国，欧盟成员国整体量也比较大。就机器学习模型数量而言，美国仍然保持领先地位，欧盟加英国排在第二，中国排在第三。这三个国家和地区的情况，反映了当今世界人工智能发展最重要的趋势。
美国是典型的联邦制国家，2020年，美国国会率先出台了《国家人工智能倡议法案》，提出初步的人工智能治理要求；2022年，美国白宫发布《人工智能权利法案蓝图：让自动化系统为美国人民服务》；2023年，拜登给出了总统行政命令“关于安全、可靠、可信赖地开发和使用人工智能”。在这个框架下，美国国家标准与技术研究院发布了《人工智能风险管理框架1.0》，该框架概述了可信赖的人工智能系统的特征，详细介绍了风险定位、测量、管理和治理。
欧盟的人工智能安全治理规则值得高度关注。欧盟把整个风险分了两大类：一是依据场景进行人工智能风险分级分类，包括低风险、透明度风险、高风险和不可接受风险，其中低风险是不会对公民权利或安全构成威胁或威胁很小，如垃圾邮件；不可接受风险是扭曲用户行为、破坏基本人权的应用场景，该等级的人工智能将直接被禁止使用，如人脸识别。二是系统性风险，系统性风险是具有高影响力的通用人工智能模型特有的风险，超过1025次浮点计算的通用人工智能大模型存在系统性风险，需要进行控制。
中国于2017年率先出台了《新一代人工智能发展规划》，该规划是面向未来打造我国先发优势的一个指导性文件，对我国人工智能发展的战略目标、重点任务等进行了系统部署。经过一段时间的发展，2021年—2023年期间，网信办和相关部门围绕互联网信息服务算法综合治理、算法推荐、深度合成、生成式人工智能等领域陆续发布了不同的管理办法。作为行政法规，应该说我们已经初步形成了人工智能安全治理体系。
对比下来，可以明显发现：
一是伦理原则方面，在人工智能安全的规则治理中，伦理原则是最基础的一个条件。可以看到，欧盟和美国更多强调的是个人权益，如强调尊重合法权益、支持美国工人、保护美国人使用AI产品的利益、保护隐私和公民自由等。对比下来，中国首先强调集体价值，比如我们强调维护国家安全和社会公共利益、坚持社会主义核心价值观、不得破坏国家统一和社会稳定等。
二是风险认知方面，三个国家和地区都认同风险的存在，但对于风险的分类差异极大。欧盟对人工智能技术的应用场景有明确的风险分级及分类控制，也特别强调通用大模型的系统性风险。美国形成了体系化的风险管理框架，美国标准与技术研究院依照国会以及总统行政命令，对风险进行测量、管理等进行了明确。但风险到底怎么分类并没有明确指出。尽管同是西方国家，美国和欧盟对于人工智能风险的看法并不相同。中国强调人工智能的细分领域，但系统性风险认识仍待强化。风险识别上，关注国家安全、公共利益和他人合法权益相关的风险。风险应对上，主要由网信办牵头，相关的部委围绕算法推荐、深度合成、生成式人工智能的具体领域给出了若干应对措施。
三是治理结构方面，特定技术应用于社会和组织之中有多元利益相关者，这三个国家和地区都强调不同利益相关者的参与，但又各有特点。美国强调跨部门与跨层级的协同，设立了国家人工智能计划办公室，建立了跨部门协作委员会、国家人工智能咨询委员会等机构。欧盟作为一个区域性国际组织，设置了独立的科学家小组，为相关成员国的风险管理实践提供智力支持，同时建立了欧盟层级的申诉渠道。中国由国家科技体制改革和创新体系建设领导小组来统筹协调，建立了人工智能发展规划推进办公室。
最后，梳理三个国家和地区的人工智能治理模式，我们发现这三个国家和地区有不同的概括。欧盟是“在安全中求发展”。由于欧盟一直以来保守，欧盟的伦理准则、对风险的担忧，使得《人工智能法案》从公布到正式批准历时三年。对欧盟来说，强调基于权利和风险在法律层面加强人工智能的监管。
美国是“在发展中求安全”。2020年，国会发布了《国家人工智能倡议》，三年后拜登又出台了总统行政命令，明显是先发展起来，然后也关注安全。这个过程当中，由于美国市场经济导向明显，特别强调行业自治、自我监管，目标是确保美国在AI研发领域中持续保持领先地位。
中国是“统筹发展与安全”的治理模式，这也是对习近平总书记统筹发展和安全要求的贯彻落实。梳理发现，我国实际上是“小步快走”，2021年开始，网信办等多个部门陆续出台系列政策，同时我国既有顶层设计也有细分领域的管理办法。
对比下来，三个国家与地区在伦理原则、风险认知、治理结构和治理模式等方面差异较大。对于人类社会而言，如何有一个更好的人工智能向善的未来。总书记提出来的“人类命运共同体”的概念，对我们来说特别重要。
AI安全并非不同规则体系的零和博弈，首届人工智能安全峰会《布莱切利宣言》也特别强调我们要一起行动起来。中国也发布了《全球人工智能治理倡议》，围绕AI发展、安全、治理三方面系统阐述了人工智能治理的中国方案
当前，全世界各个国家关于人工智能安全治理已在开展合作。今年4月，美国跟英国签订了人工智能协议备忘录，宣布达成“人工智能安全科学合作伙伴关系”。今年5月，中国和法国也发布了关于人工智能全球治理的联合声明，同时中美人工智能政府间对话首次会议也在瑞士日内瓦举行。
人工智能安全的全球治理，不仅是美国和英国，也不只是中国和法国、美国，应该更多的国家一起协同起来，我们能协同起来吗？
基于137个案例归纳出来的协同治理框架（Anesll和Gash，2008）很值得作为可以参考的分析框架，这个框架告诉我们：第一，不同的利益相关者围绕特定的目标，要想形成共识是特别难的，这个共识很重要的就是要有大家共同合作发展的前提条件。这个前提条件越好，就越容易形成共识；这个前提条件越不好，我们就越难达成集体行动。第二，实现好的协同结果的影响因素非常多，除了前提条件以外，还有相应的制度设计、催化领导。第三，协同过程还要有面对面对话、建立信任、对过程的承诺，还要有共同理解和取得“小胜”。整体上，要想解决棘手问题、获得好的协同发展结果，需要各方面一起努力，既费时费力，更需要智慧。
基于协同治理框架来分析人工智能安全治理，不同国家展开合作的起始条件差异很大。一是不同国家具有不同的利益诉求；二是国家间人工智能安全治理力量对比差异大，分析发现不同国家的认知鸿沟特别明显，比如风险认知、伦理原则认知等没有形成共识；三是还有相当一部分国家特别是美国，存在技术霸权的思维，采取零和博弈的策略。这样的情况下，如果想实现AI安全治理向善，对于制度设计、催化领导和整个协同过程的要求就特别高。
从协同治理理论框架来看，全球人工智能安全治理实现协同发展也是非常难的，但是我们仍然需要展开积极的行动。一方面，按照协同治理框架进行梳理，大家总能在特定方面形成共识；另一方面，找到其他更重要的影响因素，看能否驱动实现AI治理向善。
基于协同治理框架，推动全球人工智能安全协同发展的未来进路，至少应当从以下三个方面着力：
首先，形成全球AI安全协同治理的催化领导。《全球人工智能治理倡议》已提出，在联合国框架下成立国际人工智能治理的协调机构，协调国际人工智能发展、安全与治理重大问题。这个工作联合国应当早点开始动手。在这个基础上，中国作为一个已经站立在世界中央的大国，应该更有担当、更好地展现领导力。其次，加强全球AI安全协同治理的制度建设。
我们在倡议中提及要有人工智能风险管理框架。这时形成一个具有全球共识的人工智能风险管理框架至关重要，这个相对容易形成，至少“三国”都认同人工智能有风险的，而且美国已制定人工智能风险管理框架。协同治理一般是先从容易的开始，应当构建全球AI安全治理可互操作的技术标准规范，不同的国家都在探索，但其实现在应该努力推动共识的形成。
最后，夯实全球AI安全治理的协同过程。建立多边或区域性的论坛、会议和协商机制，特别是中、美、欧面对面交流。围绕人类命运共同体的理念，在AI安全治理方面有所落实。同时，构建面向人工智能安全治理的“南南合作”机制，协助广大发展中国家对话与行动，把发展中国家的朋友圈做好。此外，还需要“硬科技+软科学”的结合，推动开展人工智能安全治理的跨国联合研究等。
在我看来，这些都会有所助力于人工智能安全治理的共识形成与集体行动的达成，但若想从根本上解决问题，还需要我们突破以往的框架，持续创新、提出新招。这有赖于和大家一起努力，为人工智能向善共同做出贡献。
谢谢大家！
