中国人工智能伦理与治理发展的综述

工程6（2020）302研究人工智能综述中国人工智能的伦理原则和治理技术发展吴文俊a，黄铁军b，龚克c北京航空航天大学软件开发环境国家重点实验室，北京100191b北京大学电子工程与计算机科学学院，北京100871c中国新一代人工智能发展研究院，南开大学，天津300071阿提奇莱因福奥文章历史记录：收到2019年2019年11月18日修订2019年12月31日接受2020年1月8日在线提供保留字：人工智能伦理原则AI治理技术机器学习隐私安全公平A B S T R A C T道德和治理对于人工智能（AI）的健康和可持续发展至关重要为了让人工智能造福人类社会，中国的政府、研究机构和企业发布了人工智能的伦理准则和原则，并启动了开发人工智能治理技术的计划。本文介绍了这些努力的调查，并强调了在中国的初步成果。它还描述了人工智能治理研究中的主要研究挑战，并讨论了未来的研究方向。©2020 THE COUNTORS.Elsevier LTD代表中国工程院出版，高等教育出版社有限公司。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍随着新一代人工智能（AI）算法和产品的快速开发和部署，AI在日常生活中扮演着越来越重要的角色，并对现代社会的结构产生着重大影响特别是，人工智能模型和算法已被广泛应用于各种决策场景，如刑事司法、交通管制、金融贷款和医疗诊断。基于人工智能的自动决策系统的迅速发展在许多方面带来了潜在的风险，包括安全性和公平性。例如，存在许多关于自动驾驶系统的安全性的问题。2015年，特斯拉汽车在中国发生了一起致命事故，其中自动驾驶系统未能识别道路清扫车，并且没有执行正确的操作来避免它。另一个例子来自智能司法，其中采用人工智能算法来根据他/她的行为特征决定是否批准假释。有人抱怨说，这样的算法可能会根据种族和文化背景做出有偏见和不公平的决定*通讯作者。电子邮件地址：wwj@nlsde.buaa.edu.cn（W. Wu）.地上在金融领域，基于人工智能的数字贷款算法可能会基于有偏见的判断拒绝贷款申请。政府机构、学术界和工业界都意识到，人工智能应用的安全和治理是一个越来越重要的问题，必须采取有效措施来缓解潜在的人工智能相关风险。今天，许多国家的政府、研究机构和公司都宣布了他们对人工智能的道德准则、原则和建议。为了在当前的人工智能系统和产品中实施这些原则，开发人工智能的政府技术至关重要，包括联邦学习，人工智能解释，严格的人工智能安全测试和验证以及人工智能道德评估。这些技术仍处于紧张的开发中，尚未成熟到足以广泛商业采用。主要的技术障碍深深植根于现代人工智能研究的基本挑战，如人类水平的道德认知，常识伦理推理和多学科人工智能伦理工程。在本文中，我们的目的是从中国的角度对人工智能伦理原则和正在进行的研究工作进行概述本文的其余部分组织如下：第二部分介绍了政府机构和组织发布的伦理原则，并强调了中国研究人员在人工智能治理方面的主要研究成果。第3https://doi.org/10.1016/j.eng.2019.12.0152095-8099/©2020 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表工程杂志主页：www.elsevier.com/locate/engW. Wu等人/工程6（2020）302303比较了中国与其他国家在人工智能伦理原则和治理技术发展方面的第4讨论了人工智能治理研究面临的重大挑战，并提出了可能的研究方向。2. 中国的伦理原则和新兴治理技术2017年发布的《新一代人工智能发展规划》强调，必须认真管理人工智能的技术和社会双重属性，以确保人工智能的可信赖性和可靠性。2019年，中华人民共和国科学技术部北京人工智能研究院（BAAI）还发布了北京人工智能原则[2]，提出了人工智能研究、开发、使用、治理和长期规划的倡议，以支持实现对人类和自然环境有益的人工智能。见参考文件[3]，BAAI的研究人员收集了20多个关于人工智能伦理原则的著名提案，并对这些提案的文本进行了主题分析他们确定了提案中经常提到的以下关键词：安全和隐私、安全和可靠性、透明度、问责制和公平性。(1) 安全和隐私：人工智能系统应该安全并尊重隐私。(2) 安全性和可靠性：人工智能系统应该安全可靠地运行。(3) 透明度：人工智能系统应该是可以理解的。(4) 问责制：AI系统应该有问责制。(5) 公平：AI系统应该公平对待所有人。这些共同原则已得到全球人工智能领域研究人员、从业人员和监管机构这些原则不仅反映了社会表1列出了具有巨大潜力的新兴技术，以支持根据人工智能伦理原则进行有效治理。2.1. 数据安全和隐私数据安全是人工智能最基本、最普遍的伦理原则要求。包括欧盟（EU）、美国和中国在内的许多政府都在制定保护数据安全和隐私的立法。例如，欧盟于2018年实施了《通用数据保护条例》（GDPR），中国于2017年颁布了《中华人民共和国网络安全法》此类法规的制定旨在保护用户在数据驱动的AI范式中，开发人员通常需要在中央存储库中收集来自用户的海量数据，并进行后续的数据处理，包括数据清洗，融合，表1主要的人工智能伦理原则和支持治理技术。人工智能伦理原则人工智能治理技术安全和隐私联邦学习，区块链安全性和可靠性机器学习测试和验证透明度可解释/可解释的AI问责制AI出处、审计和取证公平性AI公平性评价与去偏算法注释，为训练深度神经网络（DNN）模型准备数据集。然而，新公布的规定阻碍了公司直接收集和保存其云服务器上的用户数据。联邦学习可以在分散的机构中训练机器学习模型，它提供了一个很有前途的解决方案，使人工智能公司能够以合法的方式解决数据碎片化和隔离 来自香港科技大学和其他机构的研究人员[4]已经确定了三种联邦学习模式：水平联邦学习，垂直联邦学习和联邦迁移学习。水平联邦学习适用于参与方具有不重叠的数据集，但在数据样本中共享相同的特征空间垂直联邦学习适用于来自参与者的数据集引用同一组实体但其特征属性不同的情况。当数据集不能满足任何一个条件时（即，它们具有不同的数据样本和特征空间），联邦迁移学习是一个合理的选择。使用这些模式，人工智能公司总是能够为多个企业建立一个统一的模型，而无需在一个集中的地方共享本地数据。联邦学习不仅为机构间分布式机器学习模型的协同开发提供了隐私保护的技术解决方案，也为人工智能社会的可持续发展提供了一种开发可信数字生态系统的新商业模式。通过在区块链基础设施上运行联合学习，可以通过智能合约和可信的利润交换来激励数字生态系统中的成员积极分享他们的数据并创建联合机器学习模型。联合学习越来越多地被中国的在线金融机构采用。微众银行建立了一个关于联邦学习的开源项目，并向Linux基金会贡献了联邦人工智能技术使能器（FATE）框架。微众银行2.2. AI的安全性、透明度和可信度计算机科学和软件工程领域数十年的研究已经确保了大型复杂信息系统的安全性和可信性。随着系统规模和复杂性的增加，以具有成本效益和无错误的方式设计和实现可靠和可信的系统是一个巨大的挑战。当今自主系统中部署的人工智能组件在与不确定和动态环境交互时，不可避免地加剧了这一问题。由于最先进的人工智能模型采用非常复杂的DNN和端到端训练方法，因此它充当了一个黑匣子，这不仅阻碍了开发人员充分理解其结构和行为，而且还从恶意输入中引入了隐含的和潜在的漏洞。因此，人工智能治理框架必须包含多种技术，使人工智能工程师能够对人工智能行为进行系统评估，并提供可以建立公众对人工智能系统信任的证据。图1显示了AI行为分析和评估框架的主要构建块，包括测试、验证、解释和来源。这些新兴的人工智能治理技术都是从不同方面检查和评估人工智能行为和内部工作机制。人工智能测试通常侧重于评估输入和输出之间的关系，以确保人工智能的功能和行为符合预期的目标和道德要求。AI验证采用严格的数学模型，304W. Wu等人/工程6（2020）302图1.一、测试、验证、解释和出处，以实现值得信赖的AI。证明AI算法的可靠性。人工智能解释旨在开发新技术来分析和揭示复杂的DNN模型内部如何工作。AI起源可以跟踪训练数据、模型、算法和决策过程的谱系，以支持审计和责任确定。这些人工智能治理技术的集成非常重要，因为它将所有利益相关者聚集在一起，了解，检查和审计一个自主和智能的系统。受人工智能系统决策影响的用户有权了解和理解算法决策背后的原理。负责AI开发和维护的工程师必须依靠AI测试、验证和解释工具来诊断AI算法的潜在问题，并制定必要的补救措施和改进措施。监督人工智能工程流程和人工智能产品质量的管理人员应该利用这些工具来查询程序数据，指导道德标准的执行，并最大限度地减少系统的道德和质量风险。调查人工智能系统在事故或法律案件中的责任的政府审计人员必须利用人工智能的起源来跟踪系统进化的血统并收集相关证据。2.2.1. AI的安全性和鲁棒性DNN的对抗性示例最近已经成为机器学习社区中非常流行的话题。DNN模型容易受到对抗性示例的影响，其中具有不可感知扰动的输入会误导DNN，导致错误的结果。例如，黑客可以恶意地向行人在路上行走的街道交叉口的图像添加小幅度的扰动，从而生成可以欺骗DNN忽略现场行人的对抗性示例。因此，对抗性示例可能会导致致命事故或经济损失，因为严重损害了实际的深度学习应用，如自动驾驶和面部识别系统。两种主要方法用于解决AI安全问题并确保AI系统在扰动下的鲁棒性：对抗性测试和形式化验证。(1) AI安全性的对抗性测试。许多研究已经研究了如何生成对抗性示例作为测试用例测试DNN模型。生成测试用例的一种简单方法是直接扰动原始输入，而不影响场景的整体视觉图像。这种方法仅限于黑客无法访问输入源并且无法在输入图像中添加扰动的情况。因此，研究人员已经开始探索基于生成对抗网络（GAN）的对抗示例生成，这些示例由可以轻松发布在诸如灯杆和人类帽子等物理对象上的微小图像补丁组成北京航空航天大学的研究人员[7]提出了一种感知敏感的GAN，可以增强对抗补丁的视觉保真度，并为安全测试下的神经网络生成更真实的测试样本在2018年神经信息处理系统（NIPS）会议上，清华大学的研究人员[8，9]发表了两篇关于DNN防御算法的论文：一篇论文提出了一种新的基于对抗浙江大学和阿里巴巴[10]的研究人员已经实现了一个名为DEEPSEC的DNN测试平台，该平台集成了十几种最先进的攻击和防御算法。 该平台使研究人员和从业人员能够评估DNN模型的安全性，并评估攻击和防御算法的有效性。(2) DNN模型的形式化验证。由于输入扰动的选择数量巨大，对抗性测试无法枚举给定输入集的所有可能输出作为对抗性测试的补充方法，形式验证被引入以严格证明DNN模型的输出与所有可能输入的规范严格一致然而，验证神经网络是一个困难的问题，并且已经证明，即使是验证关于其行为的简单属性也是一个非确定性多项式（NP）完全问题[11]。验证中遇到的困难主要来自激活函数的存在和神经网络的复杂结构。为了规避神经网络中存在的非线性带来的困难，最近W. Wu等人/工程6（2020）302305结果集中在分段线性形式的激活函数研究人员正在通过关注输出集的几何边界来研究高效和可扩展的验证方法。DNN模型的形式验证器基本上有两种完全验证器可以保证没有误报，但具有有限的可扩展性，因为它们采用计算昂贵的方法，例如可满足性模理论（SMT）求解器[12]。不完全验证器可能产生误报，但其可扩展性优于完全验证器。苏黎世联邦理工学院的研究人员[13，14]提出了一种基于抽象解释的不完全验证器，其中基于形状的抽象域表示为非线性激活函数输出的几何边界，来自华东师范大学、中国科学院和其他研究机构的研究人员[15，16]也介绍了基于线性规划或符号传播的验证框架。这些研究工作仍处于早期阶段，尚未推广到不同类型的激活函数和神经网络结构。尽管在形式验证领域已经进行了数十年的努力，但由于深度学习的复杂性，可扩展验证方法对于处理现代深度学习系统既不可用也不成熟。2.2.2. AI的透明度和问责制人工智能的透明度对于公众能够在许多决策应用中理解和信任人工智能至关重要，例如医疗诊断，贷款管理和执法。人工智能解释有助于破译深度学习模型的复杂内部工作原理，并为这些模型的推理和推断生成人类可理解的解释随着人工智能透明度的提高，人们对利用人工智能工具做出决策以及评估自治系统的合法性和问责制更有信心目前正在研究如何构建可解释的DNN框架和分析工具。在这个研究方向上，已经提出了多种方法来支持模型理解.一些研究人员已经设计了同伴神经网络来在DNN推理过程中生成自然语言解释。另一种被称为局部可解释模型不可知解释（LIME）的流行方法试图基于简单的模型类（例如，稀疏线性模型和决策树），以近似原始模型的行为[17]。来自上海交通大学等机构的研究人员[18]介绍了一种基于决策树的LIME方法，以定量解释由预先训练的卷积神经网络（CNN）在语义层面做出的每个预测的基本原理。信息可视化也被广泛认为是实现可解释DNN模型的有效方法。清华大学的研究人员[19]提出了一种交互式DNN可视化和分析工具，以支持模型理解和诊断。通过正确的道德价值观知识表示，这种可视化分析可以使人工智能工程师直观地验证他们的DNN模型是否正确地遵循人类道德规则。与AI解释密切相关的另一个重要研究领域是AI起源，它强调记录、呈现和查询与数据、模型和算法相关的所有类型的谱系信息，以供未来的审计和取证分析。虽然有成熟的数据和信息证明框架，但很少有人对AI起源进行调查。南京大学和普渡大学的一篇联合研究论文[20]通过跟踪内导数计算步骤为AI算法设计了一个起源计算系统。这种方法可以帮助算法设计者诊断潜在的问题。除了促进人工智能模型的开发外，证明还可以在新兴的人工智能法医研究中发挥重要作用最近众所周知的DeepFake技术滥用，利用GAN生成虚假的面部图像和视频，对社会规范和安全构成了重大威胁许多研究人员正在开发新的分类方法来检测这些虚假图像，以确保视觉内容的可信度例如，中国科学院自动化研究所的研究人员[21]试图改进DeepFake检测算法的泛化然而，单靠这些努力还不足以克服DeepFake，因为恶意设计者总是可以想出更好的算法来欺骗已知的检测算法。也许这些努力应该辅之以原始图像的可靠来源信息，这将为验证图像来源的合法性提供必要特别是，基于区块链的来源管理系统可以帮助建立一个可靠和值得信赖的数字生态系统，在这个生态系统中，可以跟踪和验证数字资源的真实身份，以便完全揭露欺诈性图像和视频。2.3. 人工智能算法的公平性评价公平性最近已经成为评估AI算法的一个重要的非功能特性。人工智能公平性研究的努力主要集中在测量和发现不同群体或个体之间的人工智能输出的差异。研究者提出了许多公平性评价标准。Gajane和Pechenizkiy[22]调查了公平性在文献中是如何定义和形式化的。AI公平性的主要定义类型如下：(1) 通过无意识的公平。根据这种类型的定义，只要在基于AI的决策过程中没有显式使用受保护的属性，AI算法就是公平的例如，智能欺诈检测系统应该在其风险估计特征集中排除种族和性别等敏感属性。虽然这种简单和盲目的方法在某些情况下可能有效，但它有非常严重的局限性，因为排除属性可能会降低预测性能，并且从长远来看，产生的有效结果比属性意识方法少。(2) 群体公平。这就要求AI算法做出的决策对于被特定属性划分的用户组表现出相等的概率。有几种类型的群体公平，包括人口统计学上的均等、均等的几率和均等的机会。这个公平性定义族是有吸引力的，因为它不假设训练数据的任何特殊特征，并且可以很容易地进行验证。(3) 个人公平。根据这种类型的定义，如果一对个体具有相似的属性，则AI算法应该呈现相似的决策。(4) 反事实的公平。在许多决策情景中，种族和性别群体等受保护的属性可能对预测结果产生因此，“通过不知情的公平性”度量实际上可能导致该度量旨在避免的组差异。减轻这种Kusner等人[23]通过利用因果框架来描述受保护的属性和数据之间的关系，制定了一个反事实的公平定义。这种公平性的衡量也提供了一种解释偏见原因的机制。目前，关于哪些公平定义最合适，还没有达成共识;在某些情况下，这些定义甚至相互不兼容。如何在特定情况下为机器学习选择合适的公平性准则，并设计一个公平的、智能的决策算法，306W. Wu等人/工程6（2020）302充分考虑社会背景仍然是一个开放的研究问题。除了众多的公平性定义之外，研究人员还引入了不同的偏差处理算法来 解决 AI 模型生 命周期不同 阶段的 AI 公平性 问题例如，Bolukbasi et al.[24]设计了一种方法，从通常用于自然语言处理的词嵌入中去除性别偏见上海交通大学的研究人员[25]提出使用社会福利函数来编码奖励机制中的公平性，并建议在深度强化学习的框架中解决资源分配的公平性问题。大型AI公司积极开发公平性评估和去偏置工具，以促进AI公平性在真实智能系统中的实现Google发布了一个名为What-If的交互式该工具集成了一些公平性指标，包括群体不知情、平等机会和人口统计学均等，以评估和诊断机器学习模型的公平性IBM创建了AIFairness 360[26]，这是一个可扩展的开源工具包，用于处理算法偏差。该软件包在数据集和模型中集成了一套全面的3. 中国与其他国家关于人工智能伦理原则和治理技术发展在本节中，我们将中国与其他国家在人工智能伦理原则和治理技术发展方面的持续努力进行比较。从政府和机构的角度来看，可以看出，中国的政府机构和私营部门都积极主动地建立了人工智能的伦理准则，并提高了对人工智能有益使用的认识。从学术研究和产业发展的角度来看，中国的研究人员和实践者一直在与国际同行一起积极开发人工智能的3.1. 政府和机构视角世界主要经济大国已经发布了人工智能的道德准则和治理法规。2018年，欧盟宣布了GDPR; 2019年4月，欧盟 2019年，白宫发布了关于保持美国在人工智能领域领导地位的行政命令，并要求美国国家标准与技术研究院（NIST）制定一项计划，为可靠、健壮和值得信赖的人工智能系统制定技术标准。与欧盟和美国一样，中国是在全国范围内发起人工智能治理和道德倡议的主要政府之一。联合国（UN）也在推动人工智能伦理，并在2019年3月的联合国教科文组织（UNESCO）人工智能大会上宣布了对人工智能的人文态度，强调人工智能具有可持续发展的人类价值。然而，多国政府尚未采取多国联合行动。此外，大型科技公司，如谷歌，亚马逊，微软，以及他们的中国同行百度，阿里巴巴和腾讯，一直积极参与国内外的人工智能道德和治理计划。腾讯于2018年宣布了其百度加入了Partnership on AI[30]，这是一个由主要成员组成的国际联盟，AI行业的玩家。该联盟的使命是为AI系统建立最佳实践，以造福社会。3.2. 学术研究和产业发展前景在第二部分，我们强调了中国研究人员在人工智能伦理原则和新兴治理技术方面的发展努力。在与人工智能伦理原则和治理相关的四个主要领域中，中国研究人员一直在与国际同行同步开发新的模型、算法和工具。在数据安全和隐私领域（第2.1节），WeBank根据参考文档FATE是这些开源项目中唯一支持分布式联邦学习的框架在AI的安全性和鲁棒性方面，由于Szegedy等人[32]揭示了DNN的可扩展性，因此在全球范围内开展了许多研究来解决这个问题。在这些努力中，中国研究人员开发的新算法在对抗性测试和防御中表现出了出色的性能。在2017年NIPS大会上，Google Brain组织了一场对抗性攻击和防御方法的国际比赛，清华大学的团队获得了攻击和防御赛道的第一名[33]。作为国际合作的一个例子，百度与密歇根大学和伊利诺伊大学厄巴纳-香槟分校的研究人员合作，发现了基于激光雷达的在人工智能的透明度和问责制方面，来自学术界和私营部门的中国研究人员，包括阿里巴巴和百度，都积极提出了新的解释方法和可视化工具。IBM、Facebook和微软等大型国际公司已经发布了他们的AI解释性工具，这些工具实现了AI解释的通用框架。例如，IBM推出了AIExplainability 360，这是一个开源软件工具包，集成了八种AI解释方法和两种评估指标[35]。相比之下，中国公司应该做出更多努力，将新算法和原型整合到开源工具中，并使其广泛应用于世界各地。虽然AI公平的概念相对较新，但它在AI学术界受到了相当大的关注。如第2.3节所述，对人工智能公平问题的调查通常需要跨学科的方法。2016年，计算机协会公平、问责和透明度会议（ACM FAT）启动，重点关注与人工智能相关的伦理问题，如算法的跨亲性、机器学习的公平性和偏见。本次会议吸引了500多名与会者，包括人工智能学者和社会科学学者，如伦理学，哲学，法律和公共政策。尽管该会议已成为研究人工智能公平性的主要场所之一，但在中国人工智能研究人员中并不知名。有必要鼓励中国人工智能学术界对这一新兴领域进行更多的多学科研究。总之，世界各地的政府、学术界和行业都认识到了人工智能伦理原则的重要性，并主动开发人工智能治理技术。在世界主要政府中，中国已经启动了全国性的人工智能治理和道德倡议。我们认为为了全球社会和我们共同的未来，必须促进这一新领域的国际合作。不幸的是，这种共同努力没有得到强调，在所有各级，必须进一步扩大和加强这些措施W. Wu等人/工程6（2020）3023074. AI治理研究在实现人工智能的基本原则以造福社会的过程中，将道德价值观和法规纳入当前人工智能治理框架的任务仍然存在许多研究挑战。在本节中，我们从以下几个方面阐述了人工智能伦理决策框架，人工智能工程过程和跨学科研究的主要挑战。4.1. 道德决策框架道德决策框架的概念是人工智能治理研究的一个主要课题。香港科技大学和南洋理工大学[36]回顾了领先的人工智能会议关于现有道德决策框架的出版物，并提出了一种分类法，将该领域分为四个领域：探索道德困境，个人道德决策框架，集体道德决策框架和人类-人工智能互动中的其他研究人员[37]提出了一项关于通用人工智能（AGI）安全性的调查，其中道德决策问题通常在强化学习框架中制定。他们假设理性智能主体可以通过与社会环境的交互经验来学习人类的道德偏好和规则因此，在强化学习的框架中，人工智能设计者可以将道德价值指定为奖励函数，以使理性主体的目标与其人类伙伴保持一致，并激励主体根据人类道德规范行事。值得注意的是，在这个新兴的研究领域，科学家必须克服当前数据驱动的DNN的主要瓶颈，以实现人类水平的自动道德决策，并在将这些框架部署在真实和复杂的道德环境中后对其进行广泛4.1.1. 如何塑造道德规范和价值观在大多数情况下，很难直接设计数学函数来模拟道德价值，特别是道德困境，人们必须在消极的选择中做出艰难的决定。采取数据驱动和基于学习的方法，使自主代理能够从人类演示中学习适当的道德表示是可行的。例如，麻省理工学院（MIT）的研究人员发起了道德机器项目[38]，以众包的方式收集有关各种道德困境的数据集。然而，这样的众包自我报告的道德困境的偏好，可以必然偏离实际的决策行为，因为没有机制，以确保真正的用户选择。4.1.2. 道德决策中的常识和背景意识尽管现代人工智能技术发展迅速，但基于DNN的人工智能代理大多擅长识别潜在模式，并且在开放和非结构化环境中支持一般认知智能方面不是很有效。在具有复杂道德困境的情况下，最先进的AI代理没有足够的认知能力来感知正确的道德上下文并通过常识推理成功地解决困境。最近在这一领域的努力探索了博弈论的道德模型或贝叶斯效用函数。杜克大学的研究人员[39]采用了博弈论方法来模拟伦理困境，并将人工智能麻省理工学院的研究人员[40]开发了一个计算模型来描述作为效用函数的道德困境，并引入了一个分层贝叶斯模型来表示社会结构和群体规范。这些早期的尝试可能不足以支持常见的道德场景，但他们提出了新的研究方向，即在人工智能伦理领域结合DNN和可解释贝叶斯推理模型的力量。4.1.3. 安全强化学习许多研究人员采用深度强化学习将道德约束建模为奖励函数，并使用马尔可夫决策过程来实现顺序决策。然而，深度强化学习还远未成熟，在用于游戏以外的应用之前还有很长的路要走。这种方法的主要问题之一与强化学习过程的安全性有关。恶意代理可以有许多选择，通过欺骗奖励机制来绕过监管道德约束例如，它可以使用奖励黑客来获得比预期更多的奖励，通过在确定奖励的过程中利用漏洞。4.2. 在人工智能工程过程中整合伦理原则伦理原则应该转化为指导人工智能系统设计和实现的软件从软件工程的角度来看，人工智能模型的开发和人工智能系统的运行通常被组织在一个明确定义的生命周期中，如图2所示，其中包括人工智能任务定义，数据收集和准备，模型设计和训练，模型测试和验证，以及模型部署和应用。AI安全性、安全性和公平性的软件规范应该在整个AI开发和运营（DevOps）生命周期中实施。首先，需要在需求分析阶段定义和分析AI任务。设计者可以针对不同应用场景的定制需求采用不同的伦理规范和评价指标。在数据收集和准备阶段，工程师必须通过消除损坏的数据样本和减少数据集的潜在偏差来确保训练数据集的有效性。有了平衡和正确的数据集，工程师可以根据伦理规范设计适当的模型结构并执行模型训练。在模型设计和训练阶段之后，必须根据描述公平性、鲁棒性、透明度和任务性能方面的约束的道德规范来测试和验证初步模型。如果模型不能通过模型测试和验证阶段，工程师必须重新设计模型，重新检查数据，并重新训练模型。此外，该模型还可以与其他软件组件集成并部署在智能系统中。在系统的运行过程中，系统的运行行为必须不断地被检查，并且必须符合伦理原则。如果发生任何违反道德约束的行为，工程师必须决定对AI模型进行进一步改进，并启动新的DevOps生命周期。为了简化这样一个具有道德意识的AI DevOps生命周期，需要开发许多AI工程工具，并将其集成到一个全面灵活的环境中，供AI模型设计人员和系统开发人员使用。如前所述，这些工具必须实现核心技术，如联邦学习、对抗性测试、形式化验证、公平性评估、解释、出处和运行时沙箱，以及安全监控。目前，AI Fairness 360等工具仍在开发中，因此，主要的AI DevOps平台尚未将这些工具封装为AI伦理原则所需的主要功能。更多的研究和工程努力是必不可少的，以促进一个开放的AIDevOps环境与内置的道德支持，研究人员和从业者可以方便地探索新的AI道德技术，308W. Wu等人/工程6（2020）302图二. AI开发和运营（DevOps）生命周期治理。系统地评估不同的评估指标，并针对不同应用领域的不同道德状况提出新的解决方案。随着人工智能治理技术的进步，可以预期，人工智能道德方面的法规和标准将在公司/企业，集团，国家和国际层面上实施，以强制执行人工智能系统和产品的合规性。事实上，全球人工智能标准化研究工作已经进行了多年。例如，国际标准化组织（ISO）希望人工智能工程和标准化的共同努力将进一步促进对人工智能伦理问题的认识，并加速将伦理价值融入人工智能行业和社区的人工智能系统和产品。4.3. AI治理的跨学科研究人工智能系统是复杂而先进的社会技术系统，通常涉及机器学习模型、支持软件组件和社会组织。来自多个学科的研究人员必须对人工智能进行社会系统分析，以了解人工智能在不同社会，文化和政治环境下的影响。这种社会系统分析需要一种跨学科的研究方法，利用哲学，法律和社会学等学科的相关研究。通过多学科研究，人工智能设计师和开发人员可以与法律和社会学专家合作，通过评估对各方的可能影响以及处理人工智能DevOps每个阶段和状态中的道德问题，对智能系统的道德方面进行毫无疑问，这种跨学科和整体的社会技术工程方法需要人工智能开发人员及其在其他相关领域具有专业知识的合作伙伴之间的深入合作。尽管中国计算机科学、哲学、法律和社会学研究人员对人工智能伦理原则的认识越来越高，但这些学者的研究工作大多仍在不同的轨道上进行，尚未完全协同起来应对上述重大挑战。因此，我们认为，将所有相关学科的专家聚集在一起，以明确的目标解决人工智能的伦理问题至关重要。第一，基于或根据一般为了更好地理解人工智能公认的伦理原则，我们需要识别自动驾驶、智能法庭和金融贷款决策等应用中的关键和典型伦理场景，并呼吁多学科团队提出新颖的研究思路和解决方案。 在这些情况下，复杂的社会背景可以被适当地抽象和描述为AI道德规范。其次，应该提供一个开放和通用的平台，以促进人工智能伦理原则的跨学科研究。这样的平台将极大地使来自不同背景的研究人员能够分享他们的见解和贡献，并比较不同的框架和道德标准，以构建具有道德价值和规则的智能机器。5. 结论人工智能的快速发展和部署预示着我们社会即将发生根本性的转变。这一转变可以成为构建人类共同体、共同未来、促进社会和自然环境可持续发展的重大机遇。但如果没有充分和有效的治理和监管，其影响可能是前所未有的负面影响。为了确保这些变化在完全嵌入我们日常生活的基础设施之前是有益的，我们需要建立一个坚实可行的人工智能治理框架，根据人类的道德和价值观来规范人工智能的发展。这样，我们可以让人工智能负责和值得信赖，并培养公众本文从中国的角度介绍了人工智能智能理论和技术的发展。许多中国研究人员一直致力于解决当前人工智能技术的伦理问题。为了克服数据驱动人工智能的安全问题，来自中国公司和大学的研究团队致力于开发联邦学习技术。为了确保DNN模型的安全性和鲁棒性，研究人员提出了对抗性测试和形式化验证的新算法。此外，研究团队正在研究人工智能解释、出处和取证领域的有效框架。这些努力大多处于初步阶段，需要进一步加强，以提供成熟的解决方案，供广泛采用和实践。我们建议采取以下行动来推动当前的人工智能治理举措：首先，政府，基金会和企业应该进行跨学科，跨部门，W. Wu等人/工程6（2020）302309多国合作，就人工智能伦理原则达成共识。其次，必须加强人工智能治理技术的合作研究和开发，以跟上人工智能的快速发展。第三，应开发具有内置道德相关工具的开放AI DevOps平台，以支持不同AI系统的所有利益相关者评估AI系统的功能和法规遵从性。第四，应确定具有重大社会影响的明确定义的人工智能道德场景，以便来自不同学科的专家可以合作解决人工智能的道德挑战。最后，我们必须积极推动对人工智能研发、应用和管理的每一个利益相关者的道德教育，以显著提高他们的道德意识，并促进对人工智能负责任行为的普遍实践。遵守道德操守准则Wenjun Wu、Tiejun Huang和Ke Gong声明他们没有利益冲突或财务冲突需要披露。引用[1] 新一代人工智能国家治理委员会新一代人工智能的治理原则-发展负责任的人工智能[互联网]。北京：中国日报; c1995-2019 [更新于2019年6月17日;引用于2019年12月18日]。可从以下网址获得：https://www.chinadaily.com.cn/a/201906/17/WS5d07486ba3103dbf14328ab7html？from=时间轴&isappinstalled=0.[2] 北京人工智能原理[互联网].北京：北京人工智能研究院; c2019 [更新于2019年5月28 日 ; 引 用 于 2019 年 12 月 18 日 ] 。 可 从 以 下 网 址 获 得 ：https://www.baai.ac.cn/blog/beijing-ai-principles[3] 曾毅，陆娥，皇甫春.连接人工智能原理。2018. arXiv：1812.04814。[4] 杨强，刘毅，陈涛，童毅.联邦机器学习：概念与应用。 ACM Trans Intell SystTechnol 2019;10（2）：12.[5] 联邦机器学习的架构框架和应用指南[互联网]。纽约：IEEE P3652.1联邦机器学习 工 作 组 ; c2019 [ 引 用 于 2019 年 12 月 18 日 ] 。 网 址 ： https ： //sagroups 。ieee.org/3652-1/网站。[6] 肖C，李B，朱J，何伟，刘明，宋丹.使用对抗网络生成对抗示例。2018. arXiv：1801.02610。[7] Liu A，Liu X，Fan J，Ma Y，Zhang A，Xie H，et al. Perceptual-sensitive GANfor generating adversarial patches.在：第33届AAAI人工智能会议论文集; 2019年1月27日[8] 严志，郭勇，张春.深度防御：训练具有改进的对抗鲁棒性的DNN2018. arXiv：1803.00404v3。[9] Pang T，Du C，Dong Y，Zhu J. Towards Robust Detection of Adversarial Examples.2018. arXiv：1706.00633v4。[10] Ling X， Ji S ，Zou J，Wang J，Wu C ，Li B ，et al. DEEPSEC ： a uniformplatform for security analysis of deep learning model.在：第40届IEEE安全与隐私研讨会论文集; 2019年5月20日至22日;旧金山，加利福尼亚州，美国; 2019年。[11] PulinaL，Tacchella A. 测试SMT求解器以验证神经网络。 AICommun 2012;25（2）：117-35.[12] Katz G，Barrett C，Dill DL，Julian K，Kochenderfer MJ.Reluplex：一个用于验证深度神经网络的高效在：计算机辅助验证国际会议论文集; 2017年7月24日至28日;海德堡，德国; 2017年。p. 97比117[13] [10]杨文辉，杨文辉.AI2：神经网络的安全性和鲁棒性认证，具有抽象解释。在：2018年IEEE安全和隐私研讨会论文集; 2018年5月20日[14] [10] 杨 伟 ， 王 伟 ， 王 伟 . 快 速 有 效 的 鲁 棒 性 认 证 。 In ： Proceedings of theAdvances in Neural Information Processing Systems 31; 2018 Dec 3-8;Montreal，QC，Canada; 2018。p. 10802-13[15] Lin W，Yang Z，Chen X，Zhao Q，Li X，Liu Z，et al. Robustness verificationof classification deep neural networks via linear programming.在：IEEE计算机视觉和模式识别会议论文集; 2019年6月16日p. 11418-27[16] 杨平，刘军，李军，陈丽，黄晓。用符号传播分析深度神经网络：实现更高的精度和更快的验证。2019. arXiv：1902.09866。[17] 李伟杰，李伟杰.“我为什么要相信你？”解释任何分类器的预测。In：Proceedings ofthe 22nd ACM SIGKDD International Conference on Knowledge Discovery andData Mining; 2016 Aug 13p. 1135-44[18] 张强，杨英，马宏，吴永宁.通过决策树解释CNN。在：IEEE计算机视觉和模式识别会议论文集; 2019年6月16日p. 6261-70[19] Liu S ， Wang X ， Liu M ， Zhu J. Towards Better Analysis of MachineLearningModels：A Visual Analytics Perspective.目视检查2017;1（1）：48-56。[20] Ma S，Aafe