深度 | 正本溯源：每一位决策者必须知道有关AI的17个问题

当前，人工智能（AI）在全球发展如火如荼，研发界不断突破“技术关”，通过推动深度学习、神经网络、强化学习等的发展推动AI的发展；产业界不断突破“运用关”，加快将人工智能运用于医疗、自动驾驶、股市预测等方面，并不断向军事和安全方面延展。相比之下，AI目前发展的短板出现在了“政策关”，存在执政者对于AI的认识误区，对于AI安全隐患的不重视等问题，以致造成对AI仍处于观望的状态，贻误发展良机。对此，长期致力于研究AI发展对于国家安全影响的新美国安全中心（CNAS），在6月19日发表报告《人工智能：决策者需知》，解释AI基本概念与误区，梳理当前AI发展大势，探讨在国家安全维度下的AI发展运用与战略优势保持,以帮助决策者提高认识，研判风险、抓住时机，趋利避害。报告主要内容有：

01

如何正确看待AI？

新美国安全中心（CNAS）首席执行官、美国国防部前副部长罗伯特·沃克（Robert O. Work）在序言中认为，AI与机器学习的不断加速扩展，使得人类处于前所未有的全球革命中，这将对未来的经济、军事竞争力以及国家安全产生巨大影响。但是公众对于未来AI利用的想象多由科幻小说和电影塑造，形成了“AI要么奴役我们，要么杀害我们”的判断，现在又带来了第三种担忧，即关于AI的发展将会剥夺我们的工作机会。麦肯锡最近一项调查显示，美国近45%的工作岗位可以被自动化所取代。这种基于反乌托邦的公众想象不是有效探讨AI的基础，我们应该认识到智能机器对于我们社会的发展也会产生积极的影响。AI和机器学习将会提高经济竞争力，创造新的财富来源，并可能会带来一场新的工业革命。

02

AI革命是否已经到来？

目前AI在医疗、金融、交通等方面成效显著，而这些运用也将会对全球经济与安全环境产生巨大影响。从马斯克到普京的全球商业领袖与国家领导人都在思考AI是否会触发一场新的工业革命。正如蒸汽机、电力以及内燃机一样，AI属于一项赋能技术，并存在广阔的运用前景。第一次和第二次工业革命中的技术是创造出可以代替人类体力劳动的机器。当今，AI正创造出可代替人类认知劳动的机器。因此，AI革命正在发生。

03

AI对于国家安全的意义？

目前AI已经运用到国防、情报、国土安全、外交、监控、网络安全、经济调控手段等方面，可以说，AI已经重塑国家安全的每一个方面。同时，国家安全具有高对抗性，因此对于国家安全决策者来说，为AI革命做准备是一项艰巨而又重要的任务。仅仅将AI运用于实现国家安全目标还不够，第一次和第二次工业革命开启了一种广义的工业化模式，带来了社会、经济与政治的全面改变。AI革命也将会改变国家实力对比以及全球经济的根基。同时，类似于工业化带来的变革，AI技术在人类社会的应用也存在一个认知过程，自动化将会转换甚至取代工作，改变劳动者与资本之间的平衡，并改变国家政治与外交政策。正如煤之于蒸汽机，油料之于内燃机，数据是机器学习的“燃料”。因此那些掌握数据、计算能力、人力资本以及创新能力的国家将会在AI时代实现跃升。

04

什么是AI？

AI是致力于使机器智能化的研究领域，这里的智能即测量在各种环境中实现目标的最佳行动方案的能力，AI拥有许多用于创造智能行为的子学科，其中最为突出的就是机器学习。AI与机器学习使得创造有效行使认知任务的机器成为可能，甚至在某些情况下还优于人类。早期的人工智能系统主要是基于规则的“专家系统”，即计算机程序简单地遵循一些在特定情况下如何行动的特定指令。当前的人工智能则带来了更复杂更先进的系统。机器学习允许算法从数据中学习并开发解决问题的方法，这些越来越智能的机器可以被广泛应用，包括分析数据以发现规律和异常，预测趋势，执行自动化任务，以及为自主控制的机器人系统提供“大脑”。

05

当前AI的局限性与进步有哪些？

虽然AI系统具备很多优点，但是仍然具有明显的局限性，包括（1）缺乏理解其行为背景的能力，或者理解人们所认为的“常识”。如AI系统可以准确地识别人的面部和情绪，并精确地跟踪身体动作，但无法解释人的行为动机；（2）不能灵活地适应设计参数之外的新环境，即在执行运用超出设计范围的任务时即会失败；（3）AI系统也不能随意从一项任务转移到另一项相关任务，经常出现“灾难性遗忘”，正如不同版本的AlphaZero无法将学习从一场比赛转移到另一场比赛，而需要重新为新比赛进行训练。目前，AI研究人员正在多任务学习中取得进展，2018年2月，DeepMind使用深度强化学习训练了一个AI系统在模拟环境中执行30种不同的任务。

06

什么是机器学习？

机器学习已被证明是一种产生智能行为的有效方法，在给定目标的情况下，学习的机器可调整他们的行为以优化表现。数据是为机器学习提供动力的“燃料”。在机器学习领域，主要有以下5种方式：一是监督学习(Supervised learning)，即由训练资料中学到或建立一个模式，并依此模式推测新的实例。训练资料是由输入物件（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。二是非监督式学习（Unsupervised learning），同样是基于对原始资料的分类，以便了解资料内部结构，但有别于监督式学习网络，非监督式学习网络在学习时并不知道其分类结果是否正确，亦即没有受到监督式增强(告诉它何种学习是正确的)。非监督学习的典型的例子是聚类。三是强化学习（Reinforcement Learning），主要是利用环境中的反馈以训练机器，强调如何基于环境而行动，以取得最大化的预期利益。四是深度学习（Deep learning），是一种使用神经网络的机器学习，主要是基于对数据进行表征学习的算法。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。五是生成对抗网络（Generative Adversarial Network），由一个生成网络与一个判别网络组成，生成网络从潜在空间中随机采样作为输入，判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来，而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。

07

机器学习方法的改进有哪些？

成功的机器学习应用一般需要大量的数据来训练算法，因此数据也成为了机器学习突破的主要障碍，在这种情况下，AI研究人员越来越倾向于通过计算机模拟创建“合成数据”，如新版AlphaGo Zero就不再使用和人类对弈所获得的数据，而是使用由自我对弈（self-play）产生的合成数据。AI研究员也在提高他们使用“稀疏数据”来训练机器的能力，例如基于神经网络的谷歌多语种翻译，可实现任意两种语言之间的零数据（Zero-Shot）翻译，同时能自动把之前的学习成果转化到翻译任意一门语言，即在完成语言 A 到语言 B 的翻译训练之后，语言 A 到语言 C 的翻译不需要再经过任何学习。

08

AI的益处有哪些？

基于规则的人工智能系统已有数十年的历史，但大数据、计算能力和算法改进方面取得的进展已经显著改善了AI的能力。因此，更高级的AI系统正在走出实验室进入现实世界，并在图像识别等方面的基准测试中击败了人类。在语言翻译方面，目前的AI系统虽不如最好的人工翻译，但却因其更便宜、更快速以及相对于人类专业知识更容易规模部署的特性而更具有适用性。目前AI的优势主要体现在：一是数据分类，从图像识别到医学图像诊断，AI系统可以比人类更准确地进行数据分类。二是异常检测， AI系统可以通过分析常规行为模式(金融、网络)，帮助检测异常行为，如欺诈性金融交易或新的恶意软件，然后识别新的非规范行为来发现尚未被发现的异常。这可用于大规模和实时地监控大型数据流，其方式对人类来说是不可能的。三是预测，通过集中大量数据查找规律，AI系统可以对未来行为进行统计预测，如机器学习在提高天气预报准确度方面显示出了价值。四是优化， AI系统具有用于优化复杂系统和任务的性能。如DeepMind使用机器学习来优化Google数据中心以提高能源效率，从而使冷却所需能源量节省40％，整体能效提高15％。

09

什么是自动化？

AI还允许创建具有更大自主性和自由度的机器来自行执行任务。随着机器变得越来越有能力，人类可以放心地在更广泛的环境中授予他们更大的自主权。自动化的优点主要体现在：（1）内嵌专业知识，通过自动化技术在机器中嵌入专业知识，低技能人员可以达到高技能工人相同的水平；（2）大规模复制操作，由于软件可以以接近零成本的方式进行复制，且自动化可实现大规模专业知识部署，因此通常人类只能小规模完成的任务在自动化下可在较大规模实现；（3）快于人类的反应时间，自动化能以超人的速度完成任务，对事件的反应要比人类速度快得多，这在股票的高频交易中已经体现出来了；（4）超人的精确性和可靠性，自动化可用于执行多任务，其精度和可靠性远超人类的表现，如在小型手术中可完成人类不能完成的操作；（5）超人的耐心和警觉性，自动化系统可以监测数据而不会感到疲劳或失去注意力，这在核电站监测或观察计算机网络活动是否存在恶意软件上非常有用。（6）独立完成操作，自动化使机器人可在无需与人类通信的环境下能够独立执行任务，如对在海上运行几个月的自动水下滑翔机进行海洋调查。

10

AI的安全问题与漏洞有哪些？

除了狭义的一般局限之外，目前的AI系统还存在一些决策者应该考虑的漏洞和安全问题，这些对于国家安全应用尤其重要，如果被对手国或黑客利用，后果将不堪设想。主要包括：（1）脆弱性，当前AI系统与生俱来的局限将会使智能变得“脆弱”。这主要是AI缺乏理解它们行为的更广泛背景的能力，这意味着如果AI系统的使用环境发生变化，它可能会突然失灵，瞬间从超级聪明变为超级愚蠢。因此，人为监督和判断在人工智能系统部署中是非常必要的。如果环境发生变化，监督人员可以立即介入，及时暂停或更改系统的运行。（2）可预测性，由于AI系统的复杂性，用户并不总能提前预测AI系统的行为，特别是当AI系统是基于目标或与真实世界的环境交互时，这种情况可能会加剧。如用户可能无法准确预测自动驾驶汽车何时将改变车道或进行其他操纵。（3）可解释性，基于规则的AI系统是可以追溯其行为选择的原因，但是对于基于先前经验和训练数据的学习型AI系统，即使在事件发生之后也很难解释他们行为选择的原因。这主要是深层神经网络用来识别图像的信息不是一组可解释的规则。即AI图像识别系统可能能够正确识别校车的图像，但不能解释图像的哪些特征使其得出图像是公共汽车的结论。AI系统的这种“黑盒子”特性可能会给一些应用（如医疗）带来风险。因此，研究更多可解释的AI方法对于扩展AI系统的潜在应用至关重要。

11

机器学习安全问题与漏洞有哪些？

机器学习的目标或目标函数若被不恰当地设定，学习系统就会产生有缺陷的结果。这主要以两种方式发生：一是如果目标设定没有将一些重要因素考虑在内，那么追求目标就会产生负面影响。如在YouTube视频推荐算法中，YouTube为了让观看者留在YouTube上的时间最大化而设计的算法将会让观众更容易接触到极端内容，因为该算法自行了解到更具煽动性的内容会让观看者看得更久，这就是一个只顾追求目标(最大化广告收入)带来负面影响(增加对极端内容的曝光)的典型例子。二是学习系统的算法涉及对奖赏函数的破坏，即系统学习了一些技术上满足目标但事实上不符合设计者意图的行为，从而破坏了奖赏函数，譬如俄罗斯方块电子游戏机器人学会在（导致失败的）最后一个方块掉落前停止游戏，这样就永远输不了。此外，机器学习的安全问题也可能来源于机器学习的数据。人工智能系统也会遇到统计模型中通常会遇到的过拟合问题，即当人工智能系统学会极其精确地模拟其训练数据、而不是这些数据背后所代表的概念时，其在训练数据以外的应用中反而会失败。

12

AI设定的偏差是什么？

偏差在AI系统中以各种方式出现，其中最为突出的是目标函数或目标存在设计者初衷与现实情况的偏差。如果人工智能系统的目标能够准确地反映设计者的初衷，那么从某种意义上说，它就是一个设计良好的系统。但是，如果这些目标在现实中并不是一直适用，那么使用这个系统就可能会产生有害的后果。如一辆自动驾驶汽车被设计成总是遵守限速，即使在超过限速可能更安全的交通状况中，它仍会表现出遵守设定、而非乘客安全的偏好。

13

AI的系统事故是什么？

由于AI系统各要素之间的复杂交互作用，因此AI容易受到系统故障的影响，特别是在竞争环境中，参与者不被鼓励彼此共享他们的算法，这就加剧了系统事故。在AI系统中，不同算法之间的相互作用会导致奇怪的行为，如股票交易闪电崩盘。在国家安全的环境中，AI系统试图在彼此之间获得竞争优势，并采取可能具有破坏性或适得其反的行动，如在网络战或电子战等机器以超人速度交互的环境中，AI的事故可能导致严重的后果。

14

什么是人机交互失败？

即使AI系统运行良好，如果用户不完全了解系统的局限或其提供的反馈则会发生事故。当这些事故发生时，观察者经常责怪使用者，但真正的原因是人与机器之间的故障。例如，2009年的法航447坠机事故造成车上所有乘客死亡，2016年的特斯拉交通事故导致驾驶员死亡等,这些情况均是操作人员未能理解系统回馈给他们的信息，最终导致悲剧。对于国家安全应用来说也是如此，在诸如军事、边境安全、运输安全、执法和其他应用领域的广泛国家安全环境中，系统的用户并不是系统设计者，因此可能不完全理解系统发送的信号。

15

利用AI漏洞的危害有多大？

恶意行为者通过操纵AI安全漏洞以蓄意破坏AI系统，从而产生新的风险,如金融交易员通过改变交易算法人为地操纵股价。恶意行为者还可以通过在学习过程中改变数据来破坏学习系统，从而使对手学到错误的行为。深层神经网络易受到虚假数据输入(欺骗攻击)的影响，使得这些存在于广泛的人工智能和机器学习技术中的安全问题变得更加严重。这些漏洞给国家安全应用中的AI带来了巨大挑战，国家和非国家行为者都在寻求利用AI系统的弱点并操纵它们的行为。尽管研究人员在对抗性数据问题上进行了大量研究，但还是没有找到一个可行的解决方案来防范这种形式的攻击。由于AI的脆弱性，图像识别系统可能被反AI伪装所迷惑，导致图像识别系统错误识别物体，对手可以使坦克看起来像校车，反之亦然。更糟的是，这些模式可能以人类无法察觉的方式隐藏起来。

16

如何权衡AI的能力与漏洞？

虽然计算机容易受到黑客攻击，数据泄露已经造成了严重后果，但这并没有阻止计算机在整个社会和国家安全环境中的使用，这是因为使用计算机网络技术的好处太多太大，不容忽视，AI系统同样如此。AI系统强大且有许多优点，但它们容易受到黑客攻击，其学习、处理数据和决策的漏洞经常被利用，这种风险在具有对抗性、高后果和难以在培训环境中复制的国家安全环境中更加严峻。决策者必须意识到这些风险，并在设计和使用AI系统时尽可能减少这些漏洞。

17

AI未来展望如何？

AI和机器学习在过去几年中取得了显著进步，并将继续向前跨越式发展。人工智能的未来具有非常大的不确定性，一个关键变量是在多领域创建更多通用AI系统的进展；另一个重要变量是AI系统中尚未解决的安全问题和漏洞方面的进展。如果各国竞相投入发展可能会发生事故或颠覆（例如欺骗攻击）的AI系统，将AI的性能置身于安全性之上，那么世界也将会非常危险。但反过来，AI安全性的进展可以减轻AI在国家安全应用中所带来的一些风险。目前，AI领域的大部分创新都来自商业部门的推动，但政府确实有能力通过研究投资来影响进展的方向。美国政府应加大对AI安全的投资，以改善在国家安全环境中建立健全、可靠和可解释的AI系统的前景。