人工智能问责制：监管用例中的记录和挑战

责任技术杂志11（2022）100043人工智能文档：实现问责制FlorianKönigstorfer*，StefanThalmann格拉茨大学班达斯中心，格拉茨，奥地利A R T I C L EI N FO保留字：人工智能文档IT审计A B标准人工智能（AI）为企业带来了巨大的潜力，但由于其黑盒特征，也有很大的缺点。在受监管的用例中，这是一个特别的挑战，在这些用例中，软件需要在部署之前进行认证或验证。传统的软件文档不足以为审计人员提供所需的证据，并且尚未提供AI特定的指南。因此，人工智能在受监管的用例中面临着重大的采用障碍，因为人工智能的问责制无法得到充分的保证。这项访谈研究旨在确定在受监管的用例中记录AI的当前状态。我们发现，AI用例的风险水平会影响AI的采用和AI文档的范围。此外，我们还讨论了人工智能目前是如何记录的，以及从业者在记录人工智能时面临哪些挑战1. 介绍人工智能（AI）为多个行业带来了巨大的潜力（麦肯锡全球研究所，2018）。是什么让AI，特别是AI的子领域机器学习（ML）如此强大，是因为AI模型从数据中获得其结构，并且比传统的统计模型需要更少的开发人员输入（Huangetal.， 2004年）。这一特性与可用数据量的显著增加和计算能力成本的降低相结合，使AI能够发现和使用数据集中以前无法识别的模式（Halevy等人，2009年; Sun等人，2017年）。人工智能的这种独特能力使公司能够改进现有的流程和模型（Thal-mann等人， 2018），并创造新的商业模式（Fruhlynth etal.， 2021年）。例如，在医学领域，人工智能应用可以检测和诊断癌症和心脏病（Esteva等人，2021年）。在消费者贷款中，高度准确的人工智能模型可以帮助贷款人减少违约（Kvamme等人， 2018;Thalmann等人， 2018）或在生产中预测机器故障（Gashi等人，2021年）。然而，在这方面， AI的 能力 到 学习 从 数据 没有 规定─来自开发人员的指令也使得向客户、审计人员和监管机构解释一些人工智能模型背后的推理变得具有挑战性。人工智能的这一特征在需要透明度和问责制的受监管行业中尤其具有挑战性（Kloker et al.，2022; Königstorfer和Thalmann，2021;Kvamme等人， 2018年）。例如，卷积神经网络的预测能力明显高于传统统计模型的预测能力，但无法解释卷积神经网络使其非常在诸如消费者借贷的受监管用例中实现卷积神经网络具有挑战性（Kvamme等人，2018年）。因此，需要一些工具和方法来验证人工智能应用程序是否正确工作，并符合所有法律或合规要求在IT行业，IT审计或软件验证程序侧重于确保信息系统（IS）的正确运行及其符合法规和行业标准。为此，IT审核员通常依赖于IS的适当文档（Bertl等人，2019年; IEEE，2008年）。在软件行业中，软件文档已被证明对于调查和验证软件的正确功能至关重要（Bertl等人，2019年;IEEE，2008年）。为了确保开发人员能够向审核员提供适当的文档，传统软件系统的标准化文档编制指南和审核程序已经存在（Hayhoe，2012;IEEE，2008;ISO，2018）。因此，人工智能文档似乎是审计或验证人工智能的一个有希望的起点。然而，由于传统软件和人工智能之间的显著差异，传统软件系统的标准文档指南和IT审计流程对审计人工智能的意义不大（Holstein等人， 2019;Königstorfer和Thalmann，2020，2021）。然而，实施合适的AI文档在文献中受到的关注有限。最近的研究表明，目前的人工智能文档指南没有为从业者提供足够的指导，需要新的指南（Ko？ nigstorfer和Thalmann，2021）。因此，审计或验证人工智能是非常具有挑战性的，这通常代表了人工智能的采用障碍，特别是在受监管的用例中（Kvamme等人，2018; Polzer等人，*通讯作者：Universitéatsstra ße15，BauteilF3，Graz，8010Austria.电子邮件地址：florian. uni-graz.at（F. Königstorfer）。https://doi.org/10.1016/j.jrt.2022.1000432022年8月5日在线发布2666-6596/©2022作者（S）由Elsevier Ltd代表ORBIT出版。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表责任技术杂志首页：www.sciencedirect.com/journal/journal-of-responsible-technologyF. Küonigstorfer和S. 塔尔曼责任技术杂志11（2022）10004322022年）。因此，调查AI文档的当前状态及其对AI采用的影响似乎是相关的。这就引出了以下研究问题：记录AI的需求如何影响AI的采用？本文件的结构如下。第2节讨论了现有的文献。第3节介绍了本文的方法。第4节介绍了研究结果。第5节讨论了结果，并提出了进一步研究的途径。第六节是论文的总结。2. 背景近年来，强大的技术创新改变了信息系统的格局。 在过去的二十年里，结合更多的可用数据和更负担得起的计算能力，使人工智能能够解决更复杂的任务（Halevy等人，2009年; Sun等人，2017年）。然而，AI应用在敏感用例中受到严格的规定，例如。欧盟人工智能建议统一人工智能规则和美国提出的识别和管理人工智能偏见的标准（欧洲议会，2021年;美国国家标准与技术研究所-美国商务部，2022年然而，由于黑盒的特性，目前审计或验证AI系统非常具有挑战性，这在敏感和受监管的用例（如制药生产）中代表了重大的采用障碍（Polzer等人，2022）或商业银行（Königstorfer和Thalmann，2020）。在软件工程中，评估和验证软件的正常运行以及软件产品对法规，指南和标准的符合性在IT审计期间进行验证（IEEE，2008）。在IT审计期间，审计员检查可能影响软件正常运行的所有软件组件，例如服务描述、IT环境描述、需求描述、控制描述和事务日志（Bachlechner等人，2014年）。在审计的检查步骤中，IT文档起着至关重要的作用（IEEE，2008年）。文档允许审计人员评估，例如，如何实现不同的系统组件和用户策略，如何设计灾难恢复计划，以及用户如何与软件系统交互（Chudasama等人，2019年）。研究表明，适当的人工智能文档也构成了人工智能应用程序内部和外部审计的基础（Ellul等人， 2021; Raji等人，2020年），使其成为审计人工智能的一个吉祥的起点。在软件工程中，文档是创建和保存以可访问的、明确的形式为涉众保存关于架构决策的信息的工件的当前（Clements等人，2011年）。该文档可以用于多种目的，并针对多种受众，包括软件工程师和IT审计员（Clements等人，2011年）。例如，软件工程师依靠系统的源代码和技术文档来创建和维护软件（Garousi等人，2015年）。技术文档尤其重要，因为它提供了有关处理信息的信息，包括内部控制和纠错机制。为了避免在文件编制方面投入的时间成为浪费时间，需要满足具体的质量标准（Parnas，2011年）。Zhi等人（2015）发现编写完整、准确和正确的软件文档是不够的，并确定了一套15项软件文档质量标准。另一方面，IT审计员还需要分析用户文档（Bertl等人，2019年）。然而，由于用户文档从用户的角度提供了有关软件整体功能的信息（即，输入字段、软件的一般描述），并且没有讨论软件系统的实现细节，因此这种类型的文档不是本文的主要焦点为了确保这些要求得到满足，文档具有可比性，文档指南由IEEE和ISO（ISO，2018）等组织甚至尽管法律并不总是要求遵守这些文件标准，但研究认为，通过遵循标准文件流程可以避免许多挑战（Satish和Anand，2016）。然而，研究表明，目前记录软件的方法对人工智能的记录意义不大，需要更合适的指导方针来记录人工智能（K？ nigstorfer和Thalmann，2020，2021）。减少含义背后的原因是AI，特别是AI的强大子字段ML与传统软件非常不同。首先，与传统软件不同，程序员不会告诉ML模型如何做出决策，而是提供一个带有数据的ML算法，并告诉ML算法它需要知道什么（Rodovold，1999）。 由于ML从数据中导出其结构的独特能力，ML算法的源代码对于AI系统的意义小于传统软件。尽管该特征在预测能力方面可以具有若干益处（Butaru等人， 2016; Khandani等人，2010;Martens等人，2016年）和实际用例中的可用性，在解释和记录人工智能的决策过程时，它也提出了一个挑战（Gashi，Vukov i'c等人， 2022年）。例如，无法解释某些AI模型这个黑盒子字符是在实践中实现一些AI模型的障碍（Kloker等人， 2022;Königstorfer和Thalmann，2021; Kvamme等人，2018年）。源代码的有限意义也对传统的软件文档指南提出了挑战。EXP的研究表明，源代码是首选的文档类型之一（Garousi等人，2015年）。因此，在大数据和人工智能环境中收集适当审计证据的挑战出现了（Appelbaum等人，2017年）。需要针对AI的新的AI特定文档指南其次，AI模型的开发高度依赖于用于训练AI的数据。这可能会导致人工智能决策中的意外和非法偏见，而人工智能开发人员没有意识到偏见的存在（Barocas和Selbst，2016）。此外，如果呈现的数据与它训练的数据不同，AI可能会出错（Ellul等人，2021年）。在用于审计目的的软件文档指南中，训练数据没有受到太多关注（Bertl等人，2019年）。第三，人类对数据和人工智能的影响往往没有得到充分报道（Diakopoulos，2016; Miceli等人，2020; Miceli等人，2021年）。这不仅意味着人类偏见可能在算法决策中占上风，而且还意味着人工智能可能以非预期的方式使用（Arnold等人，2019年），这可能导致不正确的预测，自动化偏见和潜在的有害后果（Kloker等人，2022年）。第四，研究人员指出了IS结构的最新变化（即，云计算和分布式计算系统），人工智能发展的变化（即，频繁的，近乎连续的重新训练），以及几乎不断的新数据流入可能导致ML的实现违反ML算法的几个理论假设（Parker，2012）。 因此，使用这些新技术可以产生重大影响， AI应用程序的性能和业务影响。文件指南需要加以调整，以纳入信息，在这些方面。已经提出了新的文档指南，以便于理解AI应用程序的内部工作，并实现有效的AI审计。例如，专门关注模型开发的指南（Mitchell等人，2019年; Rodovold，1999年），并且存在训练数据的文档（Gebru等人， 2018; Miceli等人，2021年）。然而，在实践中部署人工智能的重大实际挑战，例如将人工智能集成到业务流程中，在这些提案中仍然没有得到解决。此外，研究人员还提出了对现有标准的扩展，以报告调查AI在医学中使用的临床试验结果（Liu et al.，2020; Rivera等人，2020年）。这些指南的扩展主张包括AI模型本身的特征以及AI与试验环境的整合，AI与人类之间的互动，以及AI与人类之间的互动。F. Küonigstorfer和S. 塔尔曼责任技术杂志11（2022）1000433根据AI的建议采取的行动（Liu et al.， 2020; Rivera等人， 2020年）。然而，作者指出，表1在第一轮面试参与临床试验的专业人员尚未遵循扩展参考指南（Rivera等人，2020年）。此外，作者没有建议如何记录AI的频繁重新训练（Liu等人， 2020; Rivera等人， 2020年），尽管这一特点已经EXpertID就业国家专业经验进行面谈时使用的语言被几个从业者使用（Barque等人，2018年）。这意味着1软件奥地利>10年德语目前还不清楚这些指导方针是否为人所知，是否在实践中，2银行和奥地利>10年德语是否正在使用其他方法来记录人工智能。金融3银行和金融德国>10年3. 方法和步骤为了调查目前在实践中记录人工智能的方式，采用半结构化访谈进行了探索性研究。遴选了三批专业人才：一是银行4软件奥地利>10年德语5软件奥地利36软件奥地利>10年德语7芬兰>10年英语8咨询奥地利3以及多个层面的银行监管者成为目标。来自银行的用例作为受监管用例的示例。人工智能的文档是银行实施人工智能的障碍9银行和金融10银行和金融/监管机构德国>10年德国>10年已经在文献综述中确定（K？nigstorfer和Thal-11咨询德国3Mann，2020）。第二，来自专门从事人工智能领域的公司的人工智能工程师，12银行和荷兰>10年英语与AI进行了联系。 人工智能技术方面的专业知识，他们对人工智能用例的广泛知识被认为是13个有价值的study. 第三，银行业的顾问和监管人员为14人金融银行与金融瑞士>10年德语选择他们的研究，因为他们对监管的独特见解15荷兰>10年英语框架补充了我们对受监管用例的关注两轮银行和金融奥地利>10年德语进行了访谈。第一轮旨在收集对研究重点的初步见解，而第二轮则侧重于验证第一轮的发现3.1. 第一轮面试在第一轮中，16名受访者是根据方便的抽样方法招募的，并于2020年3月至6月期间通过Skype for Business进行了面试。4次访谈用英语进行，其余12次访谈用德语进行。基于对现有AI用例的结构化文献综述，创建了一个访谈指南（K？nigstorfer和Thalmann，2020）。面试 该指南旨在了解人工智能使用和记录的现状以及人工智能记录的最基本和最具挑战性的要求。在测试前的面试之后，对面试指南进行了进一步的改进。在访谈中使用的访谈指南可以在以下文件中找到：表1显示了我们采访的详细信息以及他们工作的行业。在采访中，专家们谈到了敏感的用例，如金融行业的欺诈检测或自动驾驶汽车。5名面试合伙人在相关职位上有3到10年的经验，而其余11名面试合伙人在适当职位上有10年以上的经验。受访者1和4在同一家软件公司工作，受访者11和16在采访时在同一家国际公司的不同办公室工作。访谈被记录、转录和清理。访谈平均持续34分钟。在表1中，可以看到受访专家的基本信息。除了两名受访者外，所有受访合作伙伴都担任过高级职位，例如CEO，CTO或AI负责人。大多数受访者在教育期间以及工作场所都接触过人工智能。因此，受访者既了解人工智能的技术方面，也了解人工智能对公司业务方面的影响。根据第一轮面试的成绩单，一个质量-使用知情归纳编码方法进行了典型内容分析（Patton，2014）。MAXQDA用于编码和初始代码，基于先前进行的结构化文献综述的类别（K？nigstorfer和Thalmann，2020）。例如，结构化文献综述显示，用于训练AI的数据是必不可少的。因此，“数据说明“一词成为一种编码。 在编码过程中，新的代码出现了。 比如说16顾问奥地利3受访者表示，数据准备和清理与数据本身一样必要。因此，“数据清理和准备”也成为一种代码。编码完成后，将“数据描述“和“数据清洗和准备“的编码归类为“训练数据描述和数据准备”。” 对人工智能文件的要求也是以同样的方式提取的。在分析过程中，产生了一些见解。主要调查结果是四组不同的AI文档受益者。然而，关于分组的适用性以及这些要求在受监管用例中的适用性的问题仍然存在。为了回答这些问题，第二轮面试是执行。3.2. 第二轮面试在第二轮中，于2021年4月至6月期间进行了四次额外的评估面试。两次访谈用英语进行，其余两次用德语进行。第二轮访谈中除一次外，所有访谈都进行了录音和转录。在其中一次访谈中，由于技术错误，录音未能开始，访谈结束后立即制作了一份记忆协议。第一轮访谈的初步结果以PowerPoint演示的形式呈现。然后，要求受访者提供反馈意见，并对调查结果进行批判性思考，最后进行了详细讨论。第一轮的代码集可以作为第二轮面试的起点根据评价面谈的反馈，作出了一些小的改动。例如，受访者建议将“风险厌恶型不采纳者”重新命名为“谨慎型不采纳者”。4. 结果考虑到研究的范围，我们最初的目标是在受监管的用例中使用AI的用户。然而，编码揭示了受访者描述的用例之间的明显差异，特别是沿着F. Küonigstorfer和S. 塔尔曼责任技术杂志11（2022）1000434两个维度：（1）与用例相关的风险水平;（2）AI的采用。风险等级由欧盟 机 构 的 一 系 列 法 规 定 义 。 具 体 而 言 ， 《 通 用 数 据 保 护 条 例》（GDPR）（欧盟委员会，2017年;欧洲议会，2016年）和最近关于人工智能实践监管的提案（欧盟议会，2021年）为处理技术的“高风险”用例提供了定义。人工智能的采用是一个分类特征，表明受访者在被要求介绍一个组织后是否谈论人工智能在组织中的现有应用。声明在其组织中不使用AI的受访者被视为AI的非用户，而在其组织中使用AI的受访者被视为AI的用户。顾问、软件开发人员和监管机构不会谈论人工智能在他们组织中的应用，而是谈论人工智能在其他公司中的用例。为了确保能够适当地呈现记录人工智能的不同方法，受访者根据他们如何描述人工智能的潜在用例进行分组。每个受访者都可以被分配到一个组。这两个维度是编码的结果下表2显示了在两个维度和结果类型之间不同群体之间的区别对于本文的研究结果至关重要。由于风险水平的差异，AI采用者以不同的方式记录他们的AI应用程序。第一组受访者是谨慎的非采用者，他们对采用人工智能感兴趣，并且已经尝试过这项技术。然而，这些实验并没有产生实际采用的产品或服务。报告的主要原因是受访者不知道如何满足与AI相关的所有合规要求。高关键性级别，加上缺乏合适的人工智能文档指南，使得受访者在此类用例中应用人工智能具有挑战性。由于缺乏适当的文件准则和审计程序，受访者正在考虑如何规避现有的合规要求。我们的两位来自银行和金融业的受访者属于这一组，其中一位顾问谈到了这一组的客户。“也许我在一家医疗公司工作，因为这符合我病人的利益，也因为还没有回答所有问题，我会说：‘目前我没有合理的实施方案来确保人工智能很容易实施。“（评估面试4）第二组受访者，放松的采用者，在他们的组织中采用了人工智能，或者描述了人工智能在实践中的用例。在所讨论的用例中，风险级别和被审计的概率相对较低。此外，面试伙伴指出，一方面要创建冗长、详细的文档，另一方面要保护公司内部知识和公司的创新性。出于这个原因，这个小组的受访者决定将他们的AI文档集中在他们团队的教育上。在这种类型的用例中，记录AI的实践方法的特点是专注于开发过程。来自银行和金融业的四名受访者和软件公司的两名人工智能专家属于这一组，其中一名顾问谈到了这一组的客户第三组受访者，有准备的采纳者，在使用中使用AI高风险级别的案件。就像放松的采用者一样，准备好的采用者也在他们的组织中使用AI或描述AI的用例。面试合作伙伴不仅试图保证人工智能用户的安全，表2AI文档用户低风险高风险采用人工智能否是不兴奋的非采纳者谨慎的非采纳者他们也觉得对他们的人工智能应用的道德影响负有责任。为确保文档能够满足所有这些要求，受访者制定了一种人工智能专用文档编制方法，不仅关注人工智能本身的开发，还考虑了操作环境。一位来自银行和金融业的受访者和两名软件公司的人工智能专家属于这一组。其中三位顾问谈到了这个小组的客户第四类人，不兴奋的非采用者，对采用AI不感兴趣，也没有考虑过人工智能和传统软件系统或相关的合规性问题。由于我们的目标是调查人工智能文档的要求以及人工智能目前如何在受监管的用例中进行记录，因此我们无法期望从这个小组获得见解。因此，这一群体不是本研究的对象，没有被访谈者被分配到这一群体。我们邀请研究人员以更详细的方式分析和描述这一群体。在评价访谈期间，与专家讨论了分类（见表2）及其各个方面。受访者支持我们的建议，特别是一位专家强调的案例区分：“”4.1. 谨慎的非采用者：由于高关键性级别和高感知合规性要求，目前未使用AI第一组受访者是谨慎的非采用者，他们表示他们主要在高风险和高监管的用例中工作。他们认为他们所描述的用例类型中的遵从性需求很高。这种类型的人工智能潜在用例也受到高度的监管监督。组织不仅需要确保他们的人工智能文档是最新的，以便进行潜在的审计，而且在这种用例中使用基于人工智能的系统之前，他们还经常需要获得人工智能解决方案的认证。一家银行的合规官EXPERT 3这样描述他的情况“我们是一家银行，欧洲央行会很快说：‘我们不会允许你们实施这种基于人工智能的系统。“我们无 法 跟 上 这 一 点 ， 我 想 这 就 是 为什 么 没 有 这 么 多 的 东 西 在 该 领 域 ， 你 正 在 工 作 “ （ E xp e r t 3 ）这表明，高合规要求和高度监督是这组受访者实施人工智能的障碍。无法满足合规要求的一个主要原因是缺乏适当的文件编制准则。传统软件和统计模型的EXX文档化方法对于AI的文档化意义不大。不太有意义意味着在IT审计中重现基于AI的系统功能所需的核心方面缺失。由于传统统计模型与人工智能之间存在显著差异，现有文档编制方法无法充分应对人工智能的特定挑战，如EX pert 8所示：“如果[你]向神经网络或深度学习迈出另一步，那么你必须相应地记录这些神经网络内部的数据处理。当涉及到[记录神经网络内部数据处理的]复杂性时，这是一个完全不同的挑战，我目前怀疑它是否能以目前的文档形式充分描述。 [.]在我看来，这也是可能反对使用这种模型的一个重要方面“（E X PERT 8）在采访中，银行家、顾问和软件公司的员工透露，他们在描述人工智能解决方案时遇到了困难，F. Küonigstorfer和S. 塔尔曼责任技术杂志11（2022）1000435这样它们就可以被审计，特别是使用更强大的神经网络和深度学习算法。此外，受访者指出，缺乏适当的监管指南来记录AI，监管要求与AI的特征不匹配。受访者错过了关于如何创建和如何记录AI以遵守合规要求的明确指导方针。即使组织可以实现基于AI的服务并具有有前途的用例，但他们无法充分描述AI以进行审计的事实阻止了它们的采用。EX pert 3解释说：“所以我们在这些创新实验室里，每个人现在都在做，而且已经做了很长一段时间。在那里，我们谈论了我们可以用AI做的所有伟大的事情。这些东西工作得很好。[...] 然而，我们已经注意到，问题是让它们在银行中运行，因为它们通常根本不符合合规性要求。 这就是为什么我们大部分时间都失败了”（E x pert 3）这表明缺乏有意义的文档指南是在实践中采用AI与监管较少的金融科技公司相比，这种采用障碍使银行处于不利地位，后者不必遵守如此严格的合规要求。然而，受访者确实看到了人工智能的价值，并考虑了缓解这种情况的方法。一位专家概述了一项缓解战略：“在我们不使用新的（基于人工智能的）服务之前，我们找到了初创企业并购买了他们的服务。金融科技公司的监管要求要低得多。我们作为银行也想这样做，但我们不允许这样做“（E x pert 3）这句话清楚地表明了引入人工智能的愿望，公司正在寻找规避监管压力的方法4.2. 轻松的采用者：AI用于关键性级别较低的用例中，并且人工智能被记录为动手操作与前一组受访者相比，放松的采用者将AI应用于风险较低的用例。这组受访者认为，他们用例中的合规要求不像其他类型的用例那样严格，被监管机构审计的可能性较低，并且很少或根本没有遵守内部道德准则的压力。此外，这种类型的用例中的AI应用程序都不需要由监管机构预先批准。EX pert 15将他所处的情况与银行中其他类型的用例进行了以下对比：“目前不需要[文件]，因为这是一个纯粹的内部管理模式。如果我们试图开发一个也被一个......批准的模型，这个主题将是一个完全不同的主题。欧洲中央银行“（E x pert 15）由于风险和低关键性，组织有更多的自由在这种类型的用例中使用AI。因此，人工智能正在应用于与客户数据没有或只有有限连接的用例（即，ATM故障的预测;投资组合管理;做市）或具有低感知监督（即，市场营销、欺诈检测）。虽然一些受访者只是用更准确的人工智能模型取代传统的统计模型，但其他人决定将人工智能集成到现有的静态业务流程中，或创建新的全自动业务模型。受访者还表示，他们在人工智能开发过程中处于不同的水平。虽然一些受访者已经在使用基于人工智能的服务，但其他人仍在努力创建可行的原型。由于合规性要求似乎与受访者不太相关，因此开发人员使用动手的方法来记录AI。受访者使用其代码的注释版本作为其AI的文档。例如，EXpert 9用以下方式描述了他记录人工智能的方法：“我们开始直接将代码与标记一起用作文档。这意味着标记文件包含开发人员决定采取某些步骤的背景。它真的从样品开始。[ 然后是下一步，你说：好的，我们将使用[这段代码]来训练不同性质的特征。然后用文字简要描述这些。[...] 这就是它的描述方式，然后是R代码，其中包括从SQL查询中出现的数据和将原始数据转换为这些功能的代码事情就是这样发展的。[[...] 文档将准确描述我们尝试的算法，包括那些没有导致预期结果的算法【......】 然后我们会描述导致成功的模型。是的，在Markdown中，然后实际用于训练模型的R代码将随之而来。然后最后是一些关于开发人员看到了什么以及最终产品在哪里的评论“（E x pert 9）文档对人工智能模型的开发过程和性能测试的高度关注使得这种文档编制方法非常技术性和实用性。来自银行、软件公司和咨询公司的受访者指出，开发过程描述是人工智能合适文档的基本要求。采访合作伙伴认为，这些AI文档的主要受益者是AI开发人员，因此，这些文档需要让AI开发人员能够理解。对IT环境、AI控制、应用程序上下文和事务日志的描述不是这种记录AI方法的一部分。然而，在审计人工智能时，这将需要额外的工具和流程。记录AI的方法使开发团队能够保持创新，同时使组织能够长期保持其信息系统。例如，EXpert 9认为，他希望确保新员工能够快速学习人工智能的工作原理“我刚才描述的文档非常完美，可以确保有人能够理解模型是如何开发的。例如，如果一个开发人员长时间生病或由于某种原因离开公司这工作得很好“（E x pert 9）创建可理解的AI文档是文档的一个要求。重要的是要注意，面试合作伙伴为员工记录他们的人工智能应用程序，并确保他们的开发团队保持创新。与此同时，受访者指出了他们面临的权衡，即在保护他们的业务关键知识和以资源有效的方式工作以及确保人工智能得到充分记录一些受访者还指出，监管机构和立法者缺乏合适的人工智能文件和审计指南。这给开发人员和内部审计人员带来了很大的不确定性，并导致从业人员延迟文档编制过程，编写非标准化和可能不适合AI的文档。“挑战还在于，目前检查模型的单位，如验证和内部审计部门，还不知道如何处理这一活动。这不仅意味着我作为一个开发人员，而且也是一个验证-和审计部门首先必须考虑的方法和途径，他们希望测试一个开发的模型。必须先做这个。这就是为什么我目前正在等待文档的原因“（E x pert 15）尽管人工智能开发人员希望以一种不仅符合法律要求，而且还提供所有相关信息以供审计的方式记录人工智能，但创建合适的文档并不总是可能的。无法创建合适的文档的主要原因是人工智能如何被审计以及需要记录什么才能通过审计的不确定性和不明确性。更多的工作需要F. Küonigstorfer和S. 塔尔曼责任技术杂志11（2022）1000436AI文档指南和AI审计标准。4.3. 准备采用者：以AI特定的方式使用和记录AI第三组受访者，即有准备的采用者，在高风险的用例中应用AI。受访者认为合规要求很高。来自银行和咨询公司的受访者主要指出他们需要遵守的监管要求，而来自软件公司的受访者则指出他们的责任感，并认为遵守一套原则同样重要。“我们已经定义了我们认为AI模型应该如何工作的原则，文档也是基于这些原则。因此，文件是我们以最佳和最可信的方式实施道德原则的工具在这两种情况下，受访者都认为风险非常高，并将满足必要的合规要求作为首要任务。受访者的人工智能应用程序须遵守该等严格的合规规定，原因是处理个人资料（即：例如，在招聘过程中），监管机构对用例的关注（即，客户账户的内部审计），以及人工智能故障可能对人们的生活产生的强烈负面影响（即，自动驾驶汽车）。大多数受访者使用AI对现有业务流程或产品进行增量更改（即，从客户的电子邮件中提取相关信息）。一些受访者还描述了AI用于对现有产品或业务流程进行重大更改的用例（即，让汽车自己驾驶或在招聘中使用聊天机器人）。与轻松的采用者类似，这组受访者在内部使用AI，正如EX pert 12所解释的那样：“我们使用机器学习/人工智能来执行审计任务。因此，在数据集中发现异常，以进行内部审计，并对客户的交易风险状况进行异常检测“（E x pert 12）这表明，即使有很高的合规要求，这组受访者也愿意实施人工智能。有准备的采用者将文档视为确保遵守道德和法规要求的方法。出于这个原因，他们创建了AI特定的文档。除了前一小节提到的方面之外，（数据、特征工程、特征描述、用于训练模型的算法、不成功的算法、训练参数、性能测试、存储最终模型的位置以及来自开发人员的评论），该组的AI文档（1）包含有关业务的信息，以及AI运行的IT环境，（2）自动化与AI的开发和IT环境相关的几个技术方面的文档，（3）记录AI的解释，（4）以比其他类型用例中的文档更高的详细程度记录所有方面。EX pert 12解释说：”””我如何记录？这就是平台记录工程师在创建模型期间所采取的所有操作的方式。所以平台记录了我的工程师的每一个动作。 平台本身会为它所做的每一个决定提供解释，即使它是受监督的或不受监督的。然后你来到文档。文档对我来说是：“你有没有记录下你想用这种AI/机器学习方法解决的问题？你记录了这些数据吗？你的数据是从哪里来的你做了什么测试，你做了什么测试，以确保它的算法是什么，有助于业务问题。我现在就在那里”受访者尝试使用此文档来满足监管和道德标准。这种记录人工智能的方法使受访者能够满足各种监管和道德要求。记录业务和IT环境，操作使用户和审计人员能够理解人工智能的潜在下游影响，这在审计的背景下是必不可少的受访者强调，有关人工智能运行的业务环境的信息，特别是人工智能成果如何嵌入业务流程，是人工智能文档的基本要求。这些受访者还强调，从他们的角度来看，这些信息甚至比人工智能的技术细节更重要由于部分文档流程已经自动化，开发人员几乎没有机会隐藏不必要的操作。尽管受访者指出，并非文档的所有部分都可以自动化，但他们确实认为自动化可以节省大量时间。受访者特别自豪的一个方面是，数据中的偏见和围绕模型架构的技术决策都有记录，正如一位受访者指出的那样：“原则上，人工智能应用程序应记录到其结果可重现的程度。在这方面，除其他事项外，必须跟踪哪些训练数据用于训练AI模型。关于训练数据，还应记录待训练的类别中的训练数据是否存在不平衡[...] 除了有关数据的信息外，还应以可理解的方式记录技术决策，如模型架构以及所使用的算法和超参数设置“（E x pert 4）。记录这些开发的额外技术细节以及AI的性能有助于确保AI的行为符合道德规范。例如，文件可以用来向审计员证明，数据中的潜在歧视性模式和AI的决策过程已经得到了处理。此外，受访者认为人工智能的预测应该尽可能透明。因此，可以更早地检测到可能扭曲人工智能决策过程的偏见。受访者指出，记录主要设计决策是人工智能文档的基本要求。然而，缺乏明确的文档指南和人工智能审计程序也是这一群体面临的挑战。首先，受访者强调，尽管他们付出了巨大的努力，但尚不清楚AI文档是否符合法规和FAT AI要求。EX pert 12以以下方式进行论证：“我们仍然不知道，如果监管机构进来进行审计，我们是否有正确的文件。那里的指导方针非常模糊。 有时文档问题超出了你所能知道的范围。[...]我记录了什么？我是记录过程还是记录结果？如果结果是不断变化的，我是否需要记录一个不断变化的结果？”受访者指出，现有的隐私法禁止与组织以外的人分享个人数据。这也意味着开发过程的文档需要什么样的缺乏清晰度。如何在共享有关人工智能发展的所有相关信息和隐私法之间进行权衡，仍然是一个公开的挑战。从业人员将受益于适当的文件指南。受访者还指出，正在与立法者和监管机构就人工智能文档的主题进行对话。这表明，这组受访者选择以这样一种方式记录人工智能，即IT和开发过程、性能、决策过程以及人工智能的业务环境变得更加透明。为了将工作保持在一定的限度内，他们推动自动化文档工具来跟踪基本的AI开发决策和更改。F. Küonigstorfer和S. 塔尔曼责任技术杂志11（2022）10004375. 讨论在我们的研究中，我们发现了关于如何记录AI的三种不同观点。因此，我们发现，视角主要取决于(1)用例的风险水平;（2）AI采用的水平风险等级基于欧盟范围内的数据和人工智能法规（欧盟委员会，2017年;欧洲议会，2016年，2021年）。然而，该分类也与其他出版物和认证程序一致。例如，Winter等人（2021）认为，人工智能应用程序的认证程序需要根据人工智能故障对人类造成的伤害程度而有所不同作者定义了四个关键级别。Winter等人（2021年）定义的第一和第二关键性水平可对应于上述法规中定义的“低”关键性水平，而Winter等人（2021年）定义的第三和第四关键性水平可对应于上述法规中定义的“低”关键性水平。（2021年）可能对应于法规中的“高”风险水平。为了应对新的欧盟AI法规及其用例定义，我们期待在这方面进行更多的研究，我们认为我们的工作是一个有价值的起点。我们的结果总结在表3中。第一组受访者，谨慎的非收养者，在他们的用例中采用AI。受访者谈论具有高风险级别的用例。核心论点是，他们无法让人工智能接受审计，因此无法满足合规要求。在这方面，文件是不采用人工智能的一个重要问题，特别是缺少文件和审计指南。受访者还谈到了人工智能可以带来的好处，并提出了有趣的解决与在实践中应用AI相关的挑战。有趣的是，这些变通方法也符合现有的研究。西班牙对外银行（BBVA）辩称，它没有找到将其数据科学和人工智能部门整合到银行的方法，并决定将其数据科学和人工智能工作外包给一家独立的子公司（Alfaro等人，2019年）。因此，我们提供了一个更详细的角度对学术工作，认为有限的可解释性，即，Kvammeet al. （ 2018 ） 和 Gashi et al. （ 2022 ） 或 缺 少 文 件 指 南 ， 即 ，Königstorfer和Thalmann（2020）是采用AI的障碍。特别是绕过严格规定的举措（即，通过创建初创企业）了解人工智能的潜力和用例所有者所感受到的第二组受访者，放松的采用者，在风险较低的用例中应用AI受访者以动手的方式记录人工智能，主要是为了满足技术和团队协调的需要。由于这些受访者在他们的用例中没有遇到严格的遵从性要求，也不期望被审计，所以他们不会感到缺少文档指南的痛苦。相反，他们认为文档是一种负担，只把自己看作是文档的消费者。当被问及他们动手处理文件的方法是否合适时，受访者意识到了局限性，他们主张保护知识产权。因此，即使受访者在受监管的行业工作，他们的用例也不会受到严格的监管。这与专注于采用人工智能的研究一致，表明人工智能已经应用于银行的某些领域，例如营销（Martens et al.，2016），以及内部运营管理（La'zaro等人， 2018年）。我们的研究结果表3结果总结未退出的非收养者谨慎的非采纳者放松的采纳者有准备的采纳者文件编制办法由于未采用AI，因此未编写AI文档。代码与描述相结合，就是文档。存在包含文档的文档。文件部分自动化。用例类型低风险用例。高风险的用例。在现有组织内部应用AI被认为是不可能