人工智能安全：挑战与机遇

人工智能技术和应用飞速发展，推动经济社会创新发展的同时，也在重塑人类安全的未来。作为2018世界人工智能大会的重要组成部分，题为“人工智能安全：挑战与机遇”的安全高端对话9月18日在上海国际会议中心举办。此次对话活动由上海赛博网络安全产业创新研究院、中国信息通信研究院安全研究所联合承办，上海社会科学院互联网研究中心等协办。

对话围绕伦理问题、国家安全、网络安全三大主题展开，研判人工智能时代的安全挑战，探索人工智能安全发展的创新之道，促进人工智能产业的健康发展，确保人工智能发展造福人类未来。

本版邀请参与对话的两位嘉宾撰文，为读者深度解读人工智能与人类自身发展的现实与未来。

一、人工智能技术迅猛发展

军事历来是推动技术变革的主要力量之一，特别是在一些战略性领域，新技术与军事变革之间的互动，不仅推动了技术的发展，也影响了军事变革。算法上的突破、数据数量和质量的不断提升以及计算能力的增长为人工智能在军事领域的应用提供了无限的想象空间。

从现有的技术条件来看，人工智能至少可以在机器人、战场环境的分析和目标识别、后勤组织计划、情报分析、信息管理、信息行动等方面在一定程度上提升或改变原有对军事的认知。

人工智能的发展可以减少军人的伤亡程度、增强指挥决策、控制战争的杀伤范围方面改变未来的战争形态。

第一，当越来越多的无人驾驶飞机、坦克、汽车，以及自主决策武器开始走向战场，军人直接暴露在战场杀伤环境将会减少，军人的伤亡率较传统的战争也会下降。这会使得跟传统军人形象迥异，一群戴着眼镜，像在网吧中玩着网络游戏的新的职业军人和军事单元出现在战斗序列中。

第二，人工智能在辅助战场决策可以发挥重要作用，包括制定军事计划、后勤组织保障、战场环境实时信息获取、分析、目标的图像识别等方面可以大幅度提高战场的指挥决策能力。

第三，人工智能时代战争将更多是特种战争，而非全方位的战争。人工智能在网络战、信息战，以及类似的“斩首行动”“定点清除”等特种作战领域将会发挥重要的作用。这从很大程度上而言这也会改变战场的形态，人工智能领域的特种作战将会先与大规模冲突的爆发，改变人们传统上认为，战争就是工业化时代的大规模飞机、坦克、军舰等武器之间直接对抗的印象。

鉴于人工智能在军事领域的重要作用，各国的军队和政府都高度重视从国防角度来看待人工智能，越来越多的国家开始发展和使用人工智能武器，制定人工智能国防领域的发展战略。

2016年2月，时任美国情报总监詹姆斯·克莱伯在参议院武装力量委员会的听证会上认为，人工智能系统的欺骗性和破坏性难以预测和理解，将会对国家安全和关键信息基础设施带来巨大风险。特朗普政府开始加大对人工智能国家战略的制定和资源的投入，美国国防部门的国防创新咨询委员会和国防科学委员会不遗余力地推动美国军方向人工智能转型，并且成立了国防部联合人工智能中心；近期，美国国防高级研究计划局（DARPA）作为美军重要的技术创新部门宣布对人工智能的投资增加20亿美元，用以布局下一代人工智能。

俄罗斯也高度重视人工智能在国防领域的发展。俄罗斯国防力量积极的开发人工智能武器，包括超级坦克、无人蜂群、无人导航水下航行器等，根据媒体报道，俄罗斯已经开始在叙利亚战场中使用基于人工智能的武器系统。在美俄之外，包括中国、英国、澳大利亚、韩国、印度等越来越多的国家开始重视人工智能在军事领域的发展和应用。

二、安全领域挑战不容小觑

人工智能拥有巨大潜能，但事情往往具有两面性，为了获取战略竞争优势，各国人工智能在国防领域的竞争，也带来了安全方面的风险——包括为了获取竞争优势而忽视人工智能的伦理问题、人工智能技术扩散，以及过度强调人工智能的国家安全属性对正常的技术发展和商业所带来的威胁挑战。

首先，致命性自主武器的伦理问题。致命性系统是一种直接或间接地对人类造成伤害或死亡的系统。现有系统如装备了武器的无人机，就在某种程度上将自动化与致命性结合起来，但是这一系统需要人类的参与。完全自主的致命性自主武器系统还需要能够识别和选择目标，确定拟对目标施加的武力级别，并在特定范围的时间和空间内对目标实施规定的武力。半自主、全自主系统包括杀伤人员地雷、反舰雷达、各种精确制导导弹、鱼雷、巡航导弹、反卫星武器、空中和海上无人机、无人机群以及网络蠕虫。从不含情报的地雷到精确制导导弹以及依据地形的巡航导弹，中国舆情网，这些系统中的情报数量差异巨大。

国际社会存在着很大的反对发展致命性自主武器的声音。如此众多的自主武器带来的问题是机器是否有权力去自主决定杀伤目标，以及由于算法黑箱或者自主武器失控而导致的误杀和误伤成为致命性自主武器发展必须要面临的伦理问题。虽然战争和伤亡是需要极力去避免的，但是由机器来决定伤亡则更加难以接受。不仅如此，人工智能的应用会在一定程度上降低战争的门槛，这会鼓励减少自我约束，采取进攻性的行动来达到相应的目的，但同时也会对国际安全形成新的不稳定因素。

其次，作为人工智能发展核心的算法和数据都存在着潜在的安全问题，这会导致人工智能决策的风险。从编程的角度来看，任何的代码都是由人编写，因此无法确保程序完全安全、可靠、可控、可信。从数据角度来看，人工智能依赖大数据，同时数据的质量也会影响算法的判断。军事数据质量获取、加工、存储和使用等环节都存在着一定的数据质量和安全风险，从而增加了军事领域使用人工智能的安全风险。

再次，人工智能技术扩散给全球安全带来的威胁。伴随着人工智能武器的开发，国际社会面临的另一大难题就是反扩散问题，恐怖主义组织以及不负责任的国家获取人工智能武器，并威胁国际安全和平。人工智能从某种意义上而言，也是一种程序和软件，因此，它面临的扩散风险要远远大于常规武器。类似于美国国家安全局的网络武器库被黑客攻击，并且在暗网交易，最后被黑客开发为勒索病毒的案例，也有可能在人工智能武器领域重现。

最后，人工智能的军备竞赛会对技术逻辑和商业逻辑产生破坏。人工智能具有军民两用性质，其发展最初的目的是为了发展经济，增加社会福利。过度的强调军事用途会对人工智能的全球研发体系和产业链造成严重威胁。近期，美国政府对《外国投资审查法案》进行修订，其中重点就是要阻止其他国家对美国人工智能初创企业的并购。法国政府也采取了相应做法提高外国企业对法国人工智能技术、人才的并购门槛。再加上，出口管制和人才交流限制。人工智能技术尚未发展成熟，各种鸿沟已经在各国之间开始构筑，会严重影响正常的技术研发，并且破坏全球化的商业逻辑。

三、治理机制构建刻不容缓