负责任的创新：防御中的可信道德AI系统案例研究

责任技术杂志11（2022）100036防御中的道德AI方法：开发可信自治系统的案例研究Tara Robersona，*，Stephen Bornsteinb，Rain Liivoja c，Simon Ng a，Jason Scholz a，Kate Devitt aa澳大利亚布里斯班国防合作研究中心可信自主系统bAthena AI，布里斯班，澳大利亚c昆士兰大学法学院，澳大利亚A R T I C L EI N FO关键词：可靠的自主系统负责任的创新人工智能A B S T R A C T在国防领域开发和部署可信的自主系统时，负责任和响应能力意味着什么在这篇简短的反思性文章中，我们描述了一个案例研究，在一个由行业主导、政府资助的项目中，与不同的合作者和利益相关者构建一个可信的自治系统--通过这一案例研究，我们总结了嵌入负责任的研究的价值和影响的教训，在高翻译就绪水平的技术开发过程中，始终遵循创新、设计道德的方法和原则。介绍智能自主机器人系统为战斗和胜利提供了不对称优势，这已经吸引了国防部的想象力。人类自主团队有广泛的国防应用，包括战争，后勤，人道主义支持，和完成危险的工作。澳大利亚首 席国 防科 学 家他说，这些技术提供了许多好处，同时强调但是，在国防领域开发和部署可信的自主系统时，负责任和响应能力意味着什么？这篇简短的文章反映了我们通过应用一种方法来开发和验证的经验，该方法用于在一个由行业主导的政府资助的项目中实现负责任的研究和创新（RRI）成果，该项目具有不同的合作者和利益相关者。我们描述了Athena AI的案例研究，该研究旨在通过减少战场上的人类道德和法律决策，“战争迷雾”，并改善与国际人道主义的tarian法通过本案例研究，我们总结了在高翻译准备水平的技术开发过程中嵌入RRI一致的道德设计方法和原则的价值和影响。工业和国防来自学术界的RRI研究围绕可信的自主系统进行了研究，考虑了这些新兴技术带来的社会和技术挑战。这包括调查发展道德和安全的人类-人工智能伙伴关系的途径（Ramchurn，Stein &Jennings，2021），确定了解人类和人工智能代理责任的工具（Yazdanpanah等人，2021），以及调查自治系统的可解释性方法（Omeiza，Webb，Jirotka&Kunze，2021）。当涉及到在行业环境中实施RRI时，我们面临特定的障碍（Martinuzzi，Blok，Brem，Stahl &Schoünher，2018）。首先，基于行业的创新行为者的时间尺度比学术界的研究人员短得多（Tait，2017）。对研究资金决定的潜在依赖带来了额外的挑战。简而言之，从行业的角度来看，参与RRI在时间和金钱上都是昂贵的，这可能会阻碍参与的能力。另一方面，RRI（以及与RRI一致的方法）可以为寻求负责任创新的组织提供重大优势，并向其利益相关者展示负责任的行为（英国标准协会，2020）。同样，在国防环境中关注RRI不仅有助于确保安全、可靠和有效的技术，还能确保这些技术的开发人员、指挥官和操作员识别、承认并努力减轻道德风险。例如，使用RRI预测潜在的道德和政策问题* 通讯作者。电子邮件地址：tara. tasdcrc.com.au（T.Roberson）。https://doi.org/10.1016/j.jrt.2022.1000362022年6月25日在线提供2666-6596/© 2022作者由Elsevier Ltd代表ORBIT出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。目录可在ScienceDirect责任技术杂志主页：www.sciencedirect.com/journal/journal-of-responsible-technologyT. Roberson等人责任技术杂志11（2022）1000362关于以安全和防御为重点的技术，见Inglesant，Jirotka和Hartswood（2018）。在澳大利亚国防中使用自主系统的背景下，额外的治理层。这主要是因为澳大利亚对国际人道法的承诺，国际人道法要求采取一系列措施减少战争的不利人道影响。在采用新技术方面，第36条 议定书 我 到 的 日内瓦 公约 创建 特定预期义务：在研究、发展、获取或采用新武器、作战手段或方法时，缔约方有义务确定其使用是否在某些或所有情况下为本议定书或适用于该缔约方的任何其他国际法规则所当第36条审查在早期技术设计和开发阶段开始时，它提供了一个机会，确保更好地遵守法律，并最终确保更多的人道主义和道德成果。正如我们下面所描述的，这种方法通过在系统的设计和采购阶段建立国防和国防工业在这里，我们使用核心RRI文献中的三个关键点来为我们的讨论提供信息。首先，这种责任要求在技术设计中嵌入伦理原则，并应用预防原则（欧洲环境署，2001年;von Schomberg，2013年）。第二，RRI/RI的四个维度（预期，反射性，包容性和响应性）为制定明确的创新治理模式提供了一种手段（Stilgoe，Owen Macnaghten，2013&）。第三，RRI方法的实施依赖于与关键利益相关者密切合作，并了解他们对责任的概念 （ Glerup ， Davies &Horst ， 2017 ） 和 问 责 制 （ Srini-vasan&Gonza'lez，2022），以防止脱离。在关注应用行业主导的例子时，我们还解决了对RRI的持续批评，即这种批评集中在缺乏与下游创新的参与，并呼吁更深层次的联合国，了解技术部门的创新过程。我们的案例研究通过在学术创新之外提出一种行业主导的方法来帮助回答这一问题，并重点关注一个具有实际下游成果的例子。在本文的剩余部分中，我们将介绍自治系统，然后概述本案例研究所采用的方法。我们讨论了这一方法的结果和我们下一阶段工作的经验教训。介绍Athena AIAthena AI是一个目标评估框架集，是一种减少运营商认知工作量并改善以国防为中心的法律和道德框架合规性的 它通过识别在战场上无法瞄准的物体和人。使用Athena AI的预期结果是从人道主义的角度改善结果。 Athena AI是由一家澳大利亚的中小企业（SME），他与可信自治系统合作设计了该系统的道德和法律支持系统。开发这种能力的行业团队包括前军事人员，领先的技术专家和数据科学家。他们通力合作 和 迭代地 与 科学家， 哲学家，军事来自国防科技集团（DSTG）和大学的伦理学家和法律研究人员，为复杂的军事决策提供了一种新的解决方案。该技术旨在解决军事行动中目标定位的高度动态性。一个很好的例子是，当一辆移动的车辆穿过一个建成的城市环境时，它就被瞄准了。任何人在确定对车辆的攻击时，都必须考虑所用武器的弹着点、武器对车辆的主要影响，对附近人员、车辆、建筑物和基础设施造成的附带损害。这种评估根据目标车辆的移动及其与受保护人员和物体的接近程度而不断变化。方法：一种用于防御的人工智能在自主武器系统中最低限度公正应用的伦理基础（Scholz，Lambert，Bolia）&Galliott，2020）和设计伦理原则（d'Aquin等人， 2018年;Dignum，2018; Shilton，2013）从2018年项目开始时就被嵌入。“改进道德操守决策”被确定为一项核心技术业绩指标和衡量成功的可评价尺度。在2019年项目的前12个月，通过几个研讨会该项目的一些道德方法转化为道德人工智能的实用工具，在澳大利亚国防部发布的一份报告中有介绍。2021年Scholz Bolia，2021&）。MEAID融合了以证据为基础的假设，这些假设以主题和国防中道德AI的五个方面为代表，来自45个组织的100多名研讨会的与会者。它还提出了务实的方法，以实现澳大利亚在开发、部署和管理值得信赖的人工智能方面的承诺，这些承诺是根据全球最佳实践、研讨会参与者的意见和反馈以及本案例研究的经验教训制定的。 报告将研讨会的结果与现有的AI伦理框架，包括澳大利亚并承诺对所有新的作战手段和方法进行第36条审查（澳大利亚联邦，2018年）。MEIAD提出了创建道德AI的五个方面。这五个方面是：责任（谁对人工智能负责？），治理（人工智能如何控制？），“信”是什么？“信”是什么？“信”是“信”。”““什么？““该报告还提供了符合系统开发人员风险文档要求的工具。MEAID的增加旨在确保开发人员在设计过程以及人工智能的测试和评估过程中识别、承认并努力减轻道德风险。正如下面在“应用道德人工智能的方法”中所概述的采用报告中概述的方法所产生的活动与Stilgoe等人确定的负责任创新的四个维度密切相关。表1给出了维度和活动之间联系的一个例子。应用伦理AIAthena AI案例研究的核心系统是一个对象分类器，它可以识别投降的迹象、非战斗人员、受保护的符号和受伤的迹象。这些标识符用于提醒操作员，不能在战场上瞄准物体或人员。人工智能分类器和软件开发工具结合了法律和道德框架，并提供了一个人工智能决策支持工具，以加强对国际人道法的遵守。场景开发：开发Athena AI的第一步是响应澳大利亚国防军前军事法律官员提供的场景，并由学术研究人员，国防科学家和工业界审查。这些情景提供了根据有限的情报作出困难决定的例子，此外还有根据国际人道主义法必须考虑的因素。这些场景帮助项目团队建立了用户界面的初始框架，并建立了需要在软件后端实现的规则。法律和伦理研讨会：从那里，项目团队汇集了各种道德哲学家，伦理学家，律师和人为因素专家。团队和专家们共同考虑了人工智能如何支持国际人道法和交战规则的实施，T. Roberson等人责任技术杂志11（2022）1000363表1Athena AI案例研究和负责任创新的四个维度表2一种道德AI方法在为Athena AI辩护中的结果尺寸指示性技术和Athena AI案例MEAID方面成果RRI/RI的方面负责任的创新（Stilgoe等人，（ 2013年）方法（Stilgoe等人，（2013年）研究责任人工智能已经实施，人类在道德和法律上都有责任自反性（指挥官和操作员培训）预期视觉;情景;视觉评估多学科合作和培训;嵌入式社会科学家和伦理学家;行为守则包容性焦点小组，审慎规划;以用户为中心的设计响应性调节;标准;关卡;价值敏感设计由外部专家制定和验证设想方案在法律和道德讲习班期间开展多学科、多部门以用户为中心的设计旨在真实地呈现问题空间，减少认知负荷并支持道德决策遵守方法中所述的道德和法律框架;响应最终用户和利益相关者的价值观在项目里程碑和整个过程中使用道德风险矩阵人工智能有助于为决策者提供清晰、可操作的信息。对决策者和操作员的教育：责任需要教育和培训，以便决策者和操作员了解何时信任和何时交叉检查人工智能提供给他们的信息，以及在人工智能对人和物体进行分类时如何解释置信度。建立一个框架，管理系统：通过从早期阶段纳入道德考虑因素，项目团队创建了一个框架，既可以管理人工智能的持续发展，又可以满足人工智能的法律和道德要求。武器审查和澳大利亚控制系统（反应能力（建立框架，以通过设计实现道德操守为中心）考虑这在代码中可能是什么样子。这些讨论产生了一个70页的法律和道德框架，以及如何将该框架与Athena AI整合的计划。该框架每六个月根据人工智能神经网络的性能、法律的任何变化和武器审查专家的意见Data Ethics Canvas：开放数据研究所的Data Ethics Canvas 1是一个初始工具，允许工程团队，非工程团队和军事人员考虑各种数据的伦理方面。这包括：数据收集、审查和防止偏见的方法以及用于将数据追溯到机器学习模型的原始来源的方法。Data Ethics Canvas帮助团队考虑最终用户以及可能与AI结果相关的人。这包括的问题包括：如果出了问题会发生什么？如果数据有偏差怎么办？如果系统错误标记了某个东西，会发生什么？如何缓解这些问题道德人工智能风险矩阵：数据道德画布中标记的道德风险为项目团队正在进行的道德人工智能风险矩阵做出了贡献该矩阵跟踪道德风险，标记缓解这些风险所需的行动，并确定谁对这些行动负责以及何时缓解。在项目的每个里程碑和周期性地，该小组审查这些道德操守风险，以了解这些风险是否已因设计选择而得到缓解或关闭，或者这些风险是否正在发生并需要监测。成果：建立信任和改善决策理解和应对道德和法律方面的考虑对于Athena AI的发展至关重要。在下表（表2）中，我们介绍了该项目的初步成果，信任法澳大利亚联邦，2019年）。创建信任基线：为降低道德风险而做出的设计选择包括增加人工智能的培训。这些变化对于建立对人工智能的信任程度至关重要，这有助于运营商和决策者了解他们应该对人工智能提供的信息具有何种程度的信任。Athena AI开发了一个完整的‘trusted 这确保了AI模型在真实世界的场景中进行训练和测试，并以最小的偏差进行。满足法律要求：从法律角度来看，雅典娜AI的法律和道德方面对于确保该系统加强遵守国际人道法并通过第36条武器审查至关重要。为了解决法律和道德风险，Athena AI与国际武器审查（Athena，2021）进行了广泛的合作，以创建保证框架，遵守ADF周期，以便被视为合法的包容性（以用户为中心的系统设计）反应能力（遵守国际和国家要求）伦理AI方法的五个方面和RRI/RI的维度（Stilgoe等人，2013年）。这些结果为设计团队和系统需求提供了道德基础，为迭代设计和开发提供了框架和路线图。该团队正在通过测试，评估，验证和确认（TEVV）将这些发现作为Athena AI系统的基础，以实现未来的发展。其中一些测试包括独立的人类1日期伦理画布，https://theodi.org/article/the-data-ethics-canvas-2021/确保透明度：A这一进程提出的挑战是，需要制定新的计划，以确定、跟踪和处理系统的道德和法律方面。从这一不断发展的讨论和设计过程中得到的记录塑造了该系统的未来功能，并为更广泛的应用预期（使用场景来设想系统的性能）（接下页）T. Roberson等人责任技术杂志11（2022）1000364表2（续）成果RRI/RI的各个方面超出了最初的范围，系统每个神经网络都可以追溯到它训练的数据，用于训练的参数和指标，看不见的验证片段的性能结果以及网络通过的任何要求。此外，所有的决策逻辑对用户都是可见的，例如爆炸伤害概率，人类正面区域和AI置信水平。由国防科学技术集团的人类自主研究小组对雅典娜人工智能的性能进行的因素评估以及人为因素和社会技术系统中心的研究&项目组与阳光海岸大学合作，绘制澳大利亚军 事 伦 理 准 则 2 和MEAID，以创建最佳实践评估指标。在国防中为AI操作RRI在国防领域建立道德和法律自主体系是一个反复的过程在参与这一进程时，要认真考虑利益攸关方的观点，这就产生了一个工具，集中了道德和法律方面的关切，并努力争取尽可能最好的人道主义成果。设计和这项技术的发展是一个持续的过程，将继续受到MEAID框架的影响和挑战，以确保识别和解决道德风险在本文中，我们重点讨论了应用治理在开发可信赖的自治系统方面的框架。这个“做”RRI的例子的成功始于项目团队接受完美主义是进步的敌人。到目前为止，在雅典娜人工智能项目中，我们已经成功地产生了一个真正的以道德为中心的文化，并在其中编码了道德和法律原则。系统今后，测试和评价将对这一设计进行有力的审查，并确定改进的机会。回到RRI文献中采用的三个关键指导概念，我们建议，首先，这个案例研究提供了一个如何通过在Athena AI设计中嵌入道德原则和预期实践（技术预见）来调动责任的例子。第二，项目团队使用的过程可以被认为已经实现了负责任创新的预期、反思、包容和响应维度（见上表1）。这种一致性在预期、自反性和反应性维度上表现得尤为明显。最后，我们认为，这个案例研究提出了一个明确的例子，利益相关者的力量 订婚 的过程 诚实和透明在这一旅程的不同阶段与利益攸关方接触，技术的设计和保证，例如在采购、测试和评估过程中。参与本案例研究的项目团队建立了一个实践社区，为澳大利亚国防中的人工智能提供法律和道德保证，以鼓励这种变化。与此同时，我们继续与行业建立信任和持续的关系，以确保我们深入了解他们的创新实践，并展示嵌入RRI一致的原则如何对其运营产生积极影响竞争利益作者声明，他们没有已知的竞争性经济利益或个人关系，可能会影响本文报告的工作。作者声明以下经济利益/个人关系可能被视为潜在的竞争利益：确认本文中详细介绍的工作通过可信自主系统国防合作研究中心获得了澳大利亚政府的资助。引用雅典娜人工智能（2021年），我们的能力：IWR法律和道德框架，2022年1月12日在线访问，https://athenadefence.ai/capabilities。Bradley，J. （2021年）。Athena AI帮助战场上的士兵识别受保护的目标。创建数字化。在线访问2022年1月12https://createdigital.org.au/athena-ai-helps-observers-identify-protected-targets/.英国标准协会，（2020）。PAS 440：2020负责任的创新pages.bsigroup.com/l/35972/2020-04-23/2d6rdbb。澳大利亚联邦（2018）《禁止或限制使用某些可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》缔约方政府专家组澳大利亚第36条审查进程，2018年8月30日，https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-_Group_of_Governmental_EX perts_（2018）/2018_GGE%2BLAWS_August_Working%2Bpaper_Australia.pdf。澳大利亚联邦（2019年）。澳大利亚自主武器系统致命自主武器系统领域新兴技术政府专家组，2019年https://docs-library.unoda。org/Convention_on_Certain_Conventional_Weapons_-_Group_of_Governmental_EXperts_（2019）/CCWGGE.12019WP.2Rev.1.pdf.d’Aquin,Troullinou，P.， E.，卡伦，A.，Faller，G.，霍尔登湖（2018年）。人工智能研究项目的“设计伦理”方法论InProceedings of2018年AAAI/ACM人工智能，伦理学和社会会议（2018 AAAI/ACM Conference on AI，Ethics，and Society） 54-59）。Devitt，K.，Gan，M.，Scholz，J.，博&利亚河（2021年）。一种用于防御的道德AI方法从澳大利亚回来：迪格努姆河谷（2018年）。人工智能中的伦理学：特刊介绍Ethics and Information Technology，20（1），1欧洲环境署。（2001年）。早期预警的后期教训：预防原则1896-2000。环境问题报告，（22），1-211。格勒普角，Davies，S. R.，&Horst，M.（2017年）。没有什么真正负责任的事情发生在这里：科学家的经验和责任实践。 Journal of Responsible Innovation，4（3），319-336. https://doi.org/10.1080/23299460.2017.1378462Inglesant，P.，Jirotka，M.，&Hartswood，M.（2018年）。负责任的量子技术创新应用于国防和国家安全。NQIT负责任创新简报，1-22。https：//nqit.oX.ac.uk/content/responsible-innovation-defence-对取得的成果至关重要。这段时间建立的关系http：//www.js.com/¨取决于相互尊重的参与和透明度、对行动计划的承诺以及在出现问题时表现出关注的能力。通过这一过程为Athena AI建立的声誉带来了业务增长。它还强调了为建立对自治系统的信任制定灵活和切实可行的途径的重要性。考虑到RRI的更大范围，我们建议在工业和国防中实施2ADF哲学学说-军事伦理学（ADF-P-0）https://theforge.defence.gov.au/adf-philosophical-doctrine-military-ethicsMartinuzzi，A.，Blok，V.，Brem，A.，Stahl，B.，Schonherr，N.（2018年）。负责研究和创新的行业挑战，见解和观点。Sustainability，10（702），1-9. https://doi.org/10.3390/su10030702Omeiza，D.，Webb，H.，Jirotka，M.，&昆泽湖（2021年）。自动驾驶中的EX计划：一项调查。IEEE Transactions on Intelligent Transportation Systems，1-21。https://doi.org/10.1109/TITS.2021.3122865Ramchurn，S.D.，Stein，S.，Jennings，N.R. （2021年）。值得信赖的人类-人工智能伙伴关系。iScience，24（8），1-13. https://doi.org/10.1016/J.ISCI.2021.102891，102891，PMID：34430804; PMCID：PMC8365362。Scholz，J. B.，Lambert，D.A.，博利亚河S.，Galliott&，J. （2020年）。道德武器：一个案例武器中的AI 21世纪战争中的道德责任：正义战争理论和自主武器系统的道德挑战。181-215）。纽约，美国：纽约州立大学出版社. Roach，S.C.，和Eckert，A.E.（Eds）.Shilton，K.（2013年）。价值杠杆：将道德融入设计。科学、技术、&Human Values，38（3），374T. Roberson等人责任技术杂志11（2022）1000365斯里尼瓦桑河， &Gon za'lez，B. S. M. （2022年）。同理心在人工智能问责中的作用责任技术杂志，9，1-7。https://doi.org/10.1016/j。 jrt.2021.100021Stilgoe，J.， 欧文河，Macnaghten，P.（2013年）。建立负责任的创新框架Research Policy，42（9），1568-1580. https://doi.org/10.1016/j。respol.2013.05.008Tait，J.（2017）.从负责任的研究到负责任的创新：实施中的挑战。EngineeringBiology，1（1），7-11. https://doi.org/10.1949/enb.2017.0010vonSchomberg，R. （2013年）。负责任的创新愿景In R.Owen，J. 贝桑特，&M. Heintz（编）. 负责任的创新。New York：John Wiley. Yazdanpanah，Vahid，Gerding，Enrico，Stein，Sebastian，Dastani，Mehdi，Jonker，Catholijn M.，&诺曼，蒂莫西（2021）。可信自治系统的责任研究。第20届国际自主创新大会代理和多代理系统（pp. 57- 62），2021年5月3日至7日。Ziesing，K.（2021年）。DST集团发布的道德AI报告。澳大利亚国防杂志，1。检索自https://www.australiandefence.com.au/defence/cyber-space/ethical-ai-report-released-from-dst-group。