用阿尔法利用白领工人

0通过AI提高白领工人的工作效率0Stephan Jüngling，Angelin Hofer0瑞士西北应用科学大学商学院Peter Merian-Strasse86，4052巴塞尔，瑞士stephan.juengling@fhnw.ch，angelin.hofer@students.fhnw.ch摘要尽管在制造业中，机器人完成了大部分装配任务，但只有最近才引入了机器人流程自动化，其中软件机器人接管了人类的重复性任务。许多例行任务仍然在没有充分工具辅助的情况下执行，而这些工具在当前技术能力的范围内是可以使用的。本文以记录会议纪要为例，介绍了当前可用的自然语言处理系统自动记录会议纪要的能力和问题的一些中间结果。它进一步强调潜力，以充分考虑两者的优势和劣势。为了将监督和无监督的机程的软件组件相结合，AI系统演员的能力需要尽早纳入系统设计有效分配更加容易，从而实现更有效地支持人类工作的混合工作0引言0大多数物理产品（如汽车）主要由工业机器人制造。国际机器人联合会表示，全球范围内每10000名员工拥有74个机器人单位（IFR，2018年）。将这些工作力分配给蓝领工人和白领工人的情况有很大的不同。在制造业中，将蓝领工人的任务自动化比将白领工人的文档中心任务自动化更为常见。机器学习和知识工程的潜力是巨大的，市场上有各种不同的由AI支持的产品和服务，以支持人类进行办公任务。这些解决方案大多是孤立的，是独立的应用程序，并且远远没有无缝集成到白领工作流程中。0版权由作者所有。在A. Martin，K. Hinkelmann，A. Gerber，D. Lenat，F.van Harmelen，P. Clark（编辑）的AAAI2019年春季研讨会论文集中，机器学习与知识工程的结合0大多数物理产品（如汽车）主要由工业机器人制造。国际机器人联合会表示，全球范围内每10000名员工拥有74个机器人单位（IFR，2018年）。将这些工作力分配给蓝领工人和白领工人的情况有很大的不同。在制造业中，将蓝领工人的任务自动化比将白领工人的文档中心任务自动化更为常见。机器学习和知识工程的潜力是巨大的，市场上有各种不同的由AI支持的产品和服务，以支持人类进行办公任务。这些解决方案大多是孤立的，是独立的应用程序，并且远远没有无缝集成到白领工作流程中。然而，在某些业务领域，如银行或保险公司，新技术（如机器人流程自动化或使用面向客户的聊天机器人）已经引起了人们的关注。机器人流程自动化越来越多地用于自动化繁琐的重复性任务，目前这些任务需要人类将信息从一个应用程序前端转移到另一个应用程序前端。特别是在两个系统的后端集成过于繁琐或实施工作量过大的情况下，可以快速设置RPA来接管这些任务。尽管最终结果的IT软件架构的复杂性和稳定性可能受到质疑，但基于规则的AI和RPA越来越多地用于流程自动化。因此，来自监管要求的幸运副作用（例如，实施四眼原则，明确故障情况下的责任）导致了对企业中基于AI的流程监督和治理的明确指导方针的压力，以及人类与软件机器人的协作。0人机交互模式0尽管AI的当前潜力总体上以及NLP（自然语言处理）的潜力特别允许更多的人类中心性，但我们仍然在很大程度上依赖于过去的约束（Jüngling等，2018年）。大多数办公室工作和人机交互（HCI）仍然主要通过鼠标和键盘完成，这两者的历史分别超过50年或150年。除了将HCI与NLP作为更具人类中心性的界面相结合，输入和输出方面的系统设计需要根据AI组件的学习和活动能力进行利用。以专家系统、知识库为基础的AI驱动的系统设计需要尽早将AI组件的能力纳入系统设计过程中。将AI视为参与者使得任务的有效分配更加容易，从而实现更有效地支持人类工作的混合工作场所方案。0工程（AAAI-MAKE2019）的论文集。美国加利福尼亚州帕洛阿尔托斯坦福大学，2019年3月25日至27日。0考虑到AI组件的存储库或深度学习能力，与传统的人机交互思维方式相比，远远超出了常规类型。与协作机器人（Fast-Berglund等，2016年）类似，这些机器人旨在协同生产物理产品，监督或无监督的机器学习和基于规则的系统组件应被视为协同工作场所的活动组成部分，并且可以在很大程度上为创建会议纪要等数字产品做出贡献。0示例-记录会议纪要0创建会议纪要需要时间、金钱和资源。一个拥有大约50000名员工的Fortune500公司每年花费500万美元用于创建会议纪要（IBM，2018年）。会议对于组织来说是非常重要的计划和协调工具，以便相互沟通和跟踪状态信息以实现整体业务目标。同时进行的绑定资源的会议比个体工作贵出n倍。在许多情况下，至少有一些参与者认为这是浪费时间，特别是如果会议过长或无结构。另一方面，如果正确的人在正确的时间达到某个目标，有结构的会议可以节省时间，并帮助实现特定目标。在这些情况下，会议对组织非常有价值，并需要适当的文档以供以后回忆和信息检索。会议纪要与相关信息、决策和行动项目一起尽早提供，参与者和缺席的同事就可以开始处理行动项目。因此，会议纪要的早期分发可以提高生产力。然而，在会议期间记录会议纪要非常具有挑战性，并且在以后的重新工作和整合过程中耗时。在记录过程中，很难跟随对话流程，因为参与者说话的速度比记录笔记的速度更快。此外，记录纪要的人会被吸引注意力，无法积极参与会议。所有这些方面都会导致不准确、不完整和不一致的会议纪要。因此，自动记录和编写会议纪要对企业非常有价值，并引发以下研究问题：• RQ1：创建会议纪要中可能出现哪些问题？•RQ2：创建会议纪要的信息系统需要满足哪些要求？•RQ3：演讲识别系统在转录文本时能够支持到何种程度，以便仍包含会议的相关信息？0• RQ4：演讲识别系统在会议中是否能够区分多个发言者？•RQ5：特定的NLP组件从语音转文本的转录中能够提取多少信息？0工作的当前状态0根据硕士论文（Hofer,2018年）的初步结果，根据对以下实验设置的观察，得出了以下发现。询问了一些定期撰写会议纪要的参与者，要求他们写出一份“进展会议”视频（Lauris Beinerts,2018年）的会议纪要。然后将生成的数据集与参考会议纪要进行比较。每个参与者都获得相同的模板，并任务是捕捉最重要的信息，如决策和行动项目。自动创建会议纪要的过程建议先捕捉，后分析，第一步是创建会议的语音转文本（STT）转录。使用了两个不同的系统，Otter.AI和Watson STTService来捕捉语音（IBM Watson, 2018年；Otter.ai,2018年）。然后，使用剽窃软件（Copyleaks,2018年）将自动生成的转录与视频的参考转录进行比较。分析并比较了每个转录的相同部分，以生成所需的结果。精确度与参考转录相比为87-95%。•RQ1：会议期间和会议结束后都存在主要困难。会议期间，主要问题是发言的速度，会议后主要问题是决策和行动项目的完整性重建以及会议纪要的及时分发。根据参与者的反馈的初步结果显示，超过70%的人报告难以捕捉会议的内容。57.1%的人认为他们的会议纪要只部分代表了会议，而14.3%的人完全代表了会议，28.6%的人不认为他们的会议纪要反映了会议的内容。•RQ2：对反馈表的初步分析和功能分解得出了以下最期望的要求。特定的系统应能够识别和区分不同参与者的发言，将语音转录为文本并提取信息。最重要的构建块是语音识别、语音分离和信息提取。较不希望的任务是追踪行动项目、组织会议纪要以及将其分发给参与者。•RQ3：准确的语音识别程度取决于许多方面。为了创建会议纪要，准确的语音转录对于以后的处理步骤（例如信息提取）非常重要。此外，准确性取决于0利用增强AI的人类任务0并不奇怪，目前仅依靠AI生成会议纪要还是不可能的。然而，这个任务可以分解为可以在人机协作场景中分配给人类和机器的子任务。双方都可以解决问题的那些部分，他们最擅长的地方。在进行会议纪要时，手动记录笔记的人在键入句子的速度上遇到困难，而基于AI的STT转换则远远优于人类。另一方面，说话人的识别对于人类来说并不是问题，而AI组件在我们首选的应用场景中仍然不准确并且失败。为什么当前的应用程序没有充分利用两者的优势？如何推动新的混合方法的发展？在许多情况下，需求工程和系统设计的高级规范从UML用例图开始，其中识别出所有参与者和用例。即使在这个早期设计阶段，也需要考虑到AI。在UML用例图中添加额外的AI系统参与者将最好地代表0AI可以扮演的积极角色，并且可以与人类的角色相媲美，如图1所示。0图1 -AI增强应用场景和人机交互。因此，基于AI的系统增加了UML活动图中的其他泳道，如图2所示。0图2 - UML活动图中的AI系统参与者0这样可以将不同的活动明确地分配给不同的泳道，并且前面提到的AI系统参与者负责执行他们的活动。通过这种方式设计系统，可以刺激相互协作，实现“AI优先”的场景，也就是说0“云优先”和“移动优先”应用架构的继任者，在AI增强的混合工作场所中发挥作用。在这样的混合系统设计中，可以更好地专注于人类和AI参与者的不同优势和劣势，以提高当前IT应用的效果。在今天使用AI工具的大多数场景中，功能嵌入在独立的应用程序中。数据科学家使用其商业智能工具的图形用户界面（GUI）提供的功能。在解决数据分类问题时，专家使用工具训练分类器，导入数据集来训练和应用模型。知识工程师手动构建特定业务领域的本体和基于规则的语义模型，并在他们的工作台上执行。这样的场景耗时且资源密集，如果能将知识库构建过程（KBC）委派给深度学习系统，则可以解脱。虽然有很多可以通过适当的API调用的AI服务，但它们被视为“黑盒”逻辑，并且不适用于与公司内部业务逻辑、传统软件组件（SC）和软件设计（SD）相结合的情况，其中数据应该留在本地。目标应该是更加流畅地组合不同的组件，并设计更多的混合系统，更有效地分配人类和AI的优势和劣势。在创建会议纪要的情况下，应构建一个GUI，使得启用AI参与者成为可能。对于制造业中的合作机器人，已经开发出了不同的方法来规划任务共享。类似的尝试应该为软件合作机器人做出。虽然混合物理和AI增强的软件协作空间可能面临编排的类似问题，但一些物理约束在软件中是不存在的。使用协作机器人的典型问题，例如由于安全和安全规定而将工作区域与机器人和人类分开，对于软件来说并不相关。人体工程学的方面被用户友好的GUI设计所取代，使得将挑战性任务快速而无缝地委派给AI参与者成为可能，例如STT转录。如果自动生成并以实时形式显示会议纪要，记录员可以使用预定的标签/按钮来突出显示具有演讲者识别、行动项分配、决策检测或自动文本摘要的部分。0讨论0RPA、数字代理和软件合作机器人的数量仍远远落后于制造业中的物理机器人和合作机器人的数量。然而，AI在数字化过程中的作用越来越大，不同的业务场景中，AI算法从医疗保健中的癌症诊断到银行业的欺诈检测再到消费领域的语音助手。然而，在大多数用例中，AI算法很少被视为积极参与者。系统设计的重点应该从在设计时指定组件的要求并包括运行时的业务场景的规范开始，并且人类如何将任务委派给AI参与者。此外，除了能够执行外，还学习的能力也是软件组件的新特性，这肯定对不同的运行时业务场景的设计产生影响。将AI视为系统参与者可以在早期设计阶段通过UML用例图进行可视化，并改变HCI的感知方式。AI增强的系统设计也可以在UML活动图中看到，其中根据不同参与者的优势和劣势分配活动。在许多情况下，人类和AI参与者之间当前的任务分配可以进行优化，如会议纪要的例子所示。尽管使用当前技术自主地进行准确会议纪要的应用程序还无法实现，但是可以通过支持与软件合作机器人的协作的GUI来实现混合场景，例如STT转录，这是NLP的成熟组件之一，可以轻松地委派给AI参与者。甚至更多，GUI上的交互可以作为讲话者识别的监督学习，并内建到应用程序中。可以建立基于规则的系统，帮助区分不同会议类型所需的会议纪要格式，例如决策会议、头脑风暴会议甚至是专门为Scrum团队举行的会议。在当前讲话者识别质量不足的情况下，如果在设计时引入适当的AI参与者以便在运行时学习，则系统可以随着时间的推移进行学习。0结论和展望0与蓝领工人相比，大部分重复性制造任务已被委派给机器人，但许多白领工人仍缺乏适当的工具支持，其中至少有一部分任务可以委派给机器，设计更优化的人机协作工作场所和启用人类和基于人工智能的系统参与者。以记录会议分钟为例，已经证明了这一点。0人类在语速方面有困难，而目前可用的基于人工智能的STT转录系统更准确。另一方面，语音分离对人类来说很容易，但是两个语音识别器都无法接近实际的语音片段，这证实了众所周知的“鸡尾酒会”问题。总之，可以设计更高效的系统，考虑到人类和基于人工智能的软件组件的特点和优势。通过以不同的基于人工智能的组件作为系统参与者开始系统设计，可以明确并提前考虑基于规则的人工智能和机器学习的能力。在系统设计的后期，可以将活动分配给最合适的系统参与者和车道，并且可以使用活动图作为设计方法来优化人类和协作机器人的互动工作场所。在某些应用领域，如自动驾驶汽车中，人工智能已经起到辅助技术的作用。尽管人工智能在长期内有可能取代人类驾驶员，但目前的应用场景是混合的，由人类和人工智能参与者之间的互相协作组成。与图灵测试不同，图灵测试的重点是构建一台无法与人类区分的机器，目标应该是构建能够补充人类能力的协作机器人。构建将传统软件组件、知识工程和机器学习组件的能力更无缝地结合起来的系统可以帮助重新塑造传统的人机交互，以使人类能够获得最大的效益。人类可以专注于他们比机器做得更好的有价值的活动，并将乏味的任务委托给机器，在这些任务中机器更占优势。0参考文献0Fast-Berglunda, A.,Palmkvistb, F., Nyqvista, P., Ekereda,S.和Akermana, M.(2016).评估Cobots用于最终装配。在第六届装配技术和系统CIRP会议上。p.175-180 Goyal, A. Gupta, V.，库马尔和最近，M.2018.命名实体识别和分类技术：系统性综述。印度昌迪加尔GGDSD学院信息技术研究生部门 Hofer, A.(2018).走向会议记录助手。硕士论文。商业信息系统硕士，瑞士北西部应用科学大学商学院，Olten, Switzerland IBM Watson.(2018).语音转文本演示。检索于2018年6月11日，网址：https://speech-to-text-demo.ng.bluemix.net/ IBM. (2018). Terminuter -自动化认知会议记录。检索于2018年5月3日，网址：https://terminuter-demo.eu-gb.mybluemix.net/0国际机器人联合会。 (2018).检索于2018年10月30日，网址：https://ifr.org/ifr-press-releases/news/robot-density-rises-globally Jüngling S., Lutz J., KorkutS.和Jäger J.(2018).数字企业中人机交互领域的创新潜力。在Dornberger R.(eds) Business Information Systems and Technology 4.0.Studies in Systems, Decision and Control, vol 141. Springer,Cham Beinerts L. (2018). The Expert: Progress Meeting (ShortComedy Sketch) - YouTube.检索于2018年6月5日，网址：https://www.youtube.com/watch?v=u8Kt7fRa2Wc McCann, D. (2016).到处都是机器人。在CFO杂志 (September 15)。检索于2016年9月，网址：http://ww2.cfo.com/applications/2016/09/robots-robots-everywhere/ Michalos G., SpiliotopoulosJ., Makris S.和Chryssolourislem G. Solving.2018.解决人机共享任务的方法，In CIRP Journal ofManufacturing Science and Technology,https://doi.org/10.1016/J.CIRPJ.2018.05.003 Mohan, M.和Bhat,A.(2018).从记忆到推理的联合目标人机协作，第8届国际生物启发认知体系结构大会，BICA-2017 Otter.ai. (2018). Otter Voice Notes.检索于2018年6月11日，网址：https://otter.ai/login Ratner,A.和Ré, C. (2018). 机器学习时代的知识库构建。Queue -机器学习。 https://doi.org/10.1145/3236386.3243045Reason8.ai. (2018).与会议合作伙伴的理由8-面向项目经理、助理、业务分析师和所有需要记录和跟进的人。检索于2018年10月29日，网址：https://reason8.ai/ Villani, V., Mechatronics. (2018).https://doi.org/10.1016/j.mechatronics.2018.02.009