机器人流程自动化与人工智能在白领工作中的应用与挑战

利用人工智能Stephan Jüngling，Angelin HünglingFHNW瑞士西北应用科学大学商学院Peter Merian-Strasse 86，4052 Basel，Switzerlandstephan. fhnw.ch，angelin. students.fhnw.ch摘要虽然在制造业中，机器人完成了大部分装配任务，但机器人过程自动化，即软件机器人接管人类的重复性任务，直到最近才被引入。许多常规任务继续在没有人工智能当前技术能力所能达到的工具的充分帮助下执行。以会议记录为例，本文提出了一些中间结果的能力和问题，目前可用的自然语言处理系统自动记录会议记录。它进一步强调了优化人类和机器之间任务分配的潜力，以考虑两者的特定优势和劣势。为了将监督和无监督机器学习的功能与基于规则的人工智能或传统编程的软件组件相结合，需要尽早将基于人工智能的系统参与者的功能纳入系统设计过程。将人工智能视为演员可以更有效地分配任务，这使得更容易提出混合工作场所场景，人工智能可以支持人类更有效地完成工作。介绍大多数实物商品，如汽车，主要由工业机器人制造。国际机器人联合会指出，目前全球机器人这部分劳动力在蓝领和白领工人中的分配是完全不同的。来自制造场所中的蓝领工人的任务的自动化仍然比企业后台中的白领工人的以文档为中心的任务的自动化普遍得多。机器学习和知识工程的潜力是巨大的，市场上有各种各样的由人工智能支持的不同解决方案大多是孤立的版权归作者所有。以.马丁，K. Hinkelmann，A. 戈伯，D. Lenat，F.van Harmelen，P.Clark（Eds.），AAAI 2019春季研讨会将机器学习与知识相孤立的应用程序，远远不能无缝集成到白领业务流程中。然而，在一些业务领域，如银行或保险公司，新技术，如机器人流程自动化或使用面向客户的聊天机器人获得了发展势头。机器人过程自动化越来越多地用于自动化繁琐的重复性任务，其中人类目前将信息从一个应用程序前端传输到另一个应用程序前端。特别是在两个系统的后端集成过于繁琐或需要太多实施工作的情况下，RPA可以设置为快速接管。尽管由此产生的IT软件架构的复杂性和稳定性因此，监管要求（例如，实施四眼原则，在失败的情况下明确责任）带来了一个幸运的副作用，导致越来越大的压力，需要为企业中人工智能驱动的流程的监督和治理以及人类和软件机器人之间的协作制定明确的指导方针。人机交互模式虽然 目前人 工智能的 潜力， 特别是 自然语 言处理（NLP），将允许更多的人类中心，我们仍然在很大程度上依赖于过去的限制（Jüngling等人，2018年）。大多数办公室工作和人机交互（HCI）仍然主要是用鼠标和键盘完成的，它们的历史分别超过50年和150年。除了利用HCI和NLP作为一个更加以人为中心的界面之外，系统在输入和输出方面的设计需要根据AI组件学习并变得活跃的事实来利用人工智能驱动的系统设计，工程（AAAI-MAKE 2019）。斯坦福大学，帕洛阿尔托，加利福尼亚州，美国，2019年3月25日至27日。考虑人工智能组件的存储库或深度学习能力远远超出了对HCI的传统思考。类似于合作机器人，所谓的cobots（快速Berglund等。Al，2016），旨在协作生产实物，监督或无监督机器学习和基于规则的系统组件应被视为协作工作场所中的活跃组件，并可为创建会议记录等数字产品做出重大贡献示例创建会议记录会消耗时间、金钱和资源。一家拥有约50000名员工的财富500强公司平均每年花费500万美元用于创建会议记录（IBM，2018）。会议是组织非常重要的规划和协调工具，以便相互沟通和跟踪状态信息，以满足总体业务目标。同时绑定n个资源的会议比单独工作的成本高n倍.在许多情况下，至少有一些与会者认为这是浪费时间，特别是如果会议太长或没有组织。另一方面，如果合适的人在合适的时间会面以获得合适的结果，结构化会议可以节省时间，并有助于实现特定目标。在这些情况下，会议对组织非常有价值，需要适当的文件以便以后回忆和信息检索。越早提供包含相关信息、决定和行动项目的会议记录，参与者和缺席的同事就越能开始处理行动项目。因此，尽早分发会议记录可以提高生产力。然而，在会议期间记录会议纪要是非常具有挑战性的，并且为以后的返工和整合耗费时间。在录音时，很难跟上对话流程，因为参与者说话的速度比做笔记的速度要快。此外，记录员全神贯注，不能积极参与会议。所有这些方面往往会导致不准确，不完整和不一致的会议记录。也就是说，自动记录和撰写会议记录对企业具有很大的价值，并导致以下研究问题：• RQ1：在创建会议记录时可以发现哪些问题？• RQ2：信息系统创建会议记录的要求是什么？• RQ3：语音识别系统在多大程度上可以支持语音到文本的转录，以便它仍然包含来自会议的相关信息？• RQ4：语音识别器在多大程度上分离会议中的多个声音？• RQ5：一个特定的NLP组件在多大程度上从语音到文本的转录中提取信息？目前的工作作为硕士论文的初步结果（Hessel，2018），以下发现是基于以下实验设置的观察结果而得出的。几个线人，其中一些人定期编写会议记录作为他们工作的一部分，被要求编写“进展会议”视频的会议记录将所收集的数据相互比较，并与参考会议记录进行比较。每个参与者都有相同的模板和任务来捕获最重要的信息，如决策和行动项。自动创建会议记录的过程建议先捕 获后分 析，第 一步是 创建会 议的语 音到文 本（STT）转录。两个不同的系统Otter.AI和Watson STTService用于捕获语音（IBM Watson，2018; Otter.ai，2018）。然后使用剽窃软件将自动创建的成绩单与视频的参考成绩单进行比较（Copyleaks，2018）。分析并比较每个转录物的相同部分以产生期望的结果。与参考转录本相比，准确度范围为87-95%• RQ1：主要困难发生在会议期间和会议之后。在会议期间，主要问题是发言的速度，会后重建决定和行动项目的完整性以及及时分发会议记录。根据受访者反馈的初步结果显示，超过70%的受访者表示难以捕捉会议内容。57.1%的受访者认为他们的会议记录只反映了会议的一部分，14.3%的受访者认为他们的会议记录完全反映了会议的内容，28.6%的受访者认为他们的会议记录不反映会议的内容。• RQ 2：对反馈表的初步分析和功能分解特定的系统应该能够识别和分离来自不同参与者的语音，将语音转录为文本并提取信息。语音识别、语音分离和信息提取被认为是最重要的组成部分。不太理想的任务是跟踪行动项目，组织会议记录和分发给与会者。• RQ3：语音识别的准确程度取决于许多方面。为了创建会议记录，拥有准确的语音记录是非常宝贵的，以便执行后续处理步骤（例如信息提取）。此外，准确性取决于特殊的STT系统，不同的产品表现出不同的性能。• RQ4：语音分离意味着将不同的文本片段分配给转录中的原始发言者。因此，所有的发言者都需要得到承认。重叠的语音和多个语音源是关键的，并且被称为“鸡尾酒会”问题（Settle等人，2018; Yul等人，2017年）。进一步的挑战，如声音的响度和距离，会影响它们的分离。为了获得语音分离的最佳结果，需要多个麦克风。然而，在测试设置中，仅使用来自视频的单声道音频通道，并且在优选的应用场景中，也将使用一些语音识别器已经集成了语音分离，但通常仅限于识别两到三个说话人。初步结果证明，这似乎仍然很困难。没有一个被检查的语音识别器接近参考转录的实际语音片段。• RQ5：准确提取行动项的NLP组件仍然缺失。提取相关信息的一种可能智能手机应用程序Reason 8声称可以提取决策和行动项（Reason 8.ai，2018）。初步测试表明，似乎很难提取预期的决定和行动项目。此外，为了捕获与Reason 8的会议，至少需要两个设备。通过增强的AI这并不奇怪，目前不可能完全基于AI生成会议记录。然而，任务可以分解为子任务，可以在类似cobot的场景中分配给人类和机器。双方都可以在他们最有能力的地方解决问题的那些部分在做会议记录的情况下，手动做笔记的人在打字的速度上很吃力，而基于AI的STT转换则远远优于人类。另一方面，说话人识别对人类来说不是问题，而人工智能组件仍然不准确，并且在我们首选的应用场景中失败。为什么当前的应用程序没有利用两者的潜力来设计？如何在前期刺激新的混合方法？在许多情况下，需求工程和系统设计的高级规范都是从UML用例图开始的，在UML用例图中，所有的参与者和用例都被标识出来。即使在这个早期设计阶段，也需要考虑AI。在UML用例图中添加额外的AI系统参与者将最好地表示人工智能可以发挥的积极作用，与人类的作用相当，如图1所示。图1 -因此，额外的基于AI的系统参与者会在UML活动图中产生额外的泳道，如图2所示。图2 -UML活动图这允许将不同的活动明确地分配给不同的泳道，并且上述AI系统参与者负责执行其活动。通过以这种方式设计系统，相互协作被激发，“AI优先”的作为“云优先”和“移动优先”应用架构的继承者在这种混合系统设计中，人们可以更好地关注人类和人工智能参与者的不同优势和弱点，以提高当前IT应用程序的有效性。在当今使用AI工具的大多数场景中，功能嵌入在竖井类型的应用程序中。数据科学家正在使用其商业智能工具的图形用户界面（GUI）提供的功能。在解决数据分类问题的情况下，专家在工具的帮助下训练分类器，其中导入数据集以训练和应用模型。知识工程师正在为特定的业务领域手动构建本体和基于规则的语义模型，这些模型在他们的工作台上执行。这种情况是耗时和资源密集型的，将知识库构建过程（KBC）委托给深度学习系统将是一种解脱（Ratner，2018）。虽然许多AI服务可以通过适当的API调用，但它们必须被视为“黑盒”逻辑，并且不适合与公司内部业务逻辑，传统软件组件（SC）和软件设计（SD）相结合，因为数据应该留在本地。我们的目标应该是促进以无缝的方式更交互地结合不同的组件，并设计更多的混合系统，从而更有效地分配人类和人工智能的优势和劣势在创建会议记录的情况下，应该构建一个GUI，这使得启用AI演员成为可能。对于制造业中的协作机器人 ， 已 经 开 发 了 不 同 的 方 法 来 规 划 任 务 共 享（Michalos，2018）。对于软件协作机器人也应该进行类似的尝试。虽然混合物理和人工智能增强的软件协同工作可能会处理类似的编排问题，但一些物理约束在软件中并不存在。使用协作机器人的典型问题，例如由于安全和安全法规而将工作区域与机器人人机工程学方面被用户友好的GUI设计所取代，该设计能够将具有挑战性的任务（例如STT转录）快速无缝地委托给人工智能演员。如果记录是自动生成的，并显示为实时记录，记录员可以用预先确定的标签突出显示部分/按钮用于说话人识别、动作项分配、决策检测或自动文本摘要。讨论RPA、数字代理和软件协作机器人的数量仍然远远落后于制造业中物理机器人和协作机器人的数量尽管如此，人工智能在数字化过程中的作用正在增加，不同的业务场景中，人工智能算法从医疗保健中的癌症诊断到银行业的欺诈检测，再到消费领域基于语音的数字助理。然而，在大多数用例中，人工智能算法很少被视为积极的参与者。系统设计的重点应该从在设计时指定组件的需求，并包括在运行时指定业务场景，以及人类如何将任务委托给AI参与者。此外，不仅行动的能力，而且学习的能力是软件组件的新功能，这肯定会对不同运行时业务场景的设计产生影响。将AI视为系统参与者可以在早期设计阶段使用UML用例图进行可视化，并改变了HCI的感知方式。在UML活动图中也可以看到AI增强的系统设计，其中活动根据不同参与者的优势和劣势进行分配。在许多情况下，人类和人工智能参与者之间的当前任务分配可以优化，正如在会议记录的例子中所看到的那样。虽然目前的技术还无法实现一个能够自动记录准确会议记录的应用程序，但一个具有GUI的混合场景支持与软件协作机器人的更重要的是，GUI上的交互可以用作说话人识别的监督学习，并内置于应用程序本身。可以建立基于规则的系统，帮助区分不同格式的会议记录，这对于不同类型的会议可能是必要的，例如决策会议，集思广益会议，甚至是一个团队的专门会议。在说话者识别的质量目前不足的情况下，如果在设计时并入适当的AI参与者以便在运行时学习，则系统可以随着时间的推移学习它。结论与展望与蓝领工人相比，大多数重复性的制造任务都委托给机器人，许多白领工人仍然缺乏适当的工具支持，至少有一些任务可以委托给机器，并且可以设计一个更优化的与人类和人工智能启用的系统参与者合作的工作场所正如会议记录的例子所示，人类在发音速度方面存在困难，而当前可用的基于AI的STT转录系统要准确得多另一方面，语音分离对人类来说很容易，但两个语音识别器都没有接近实际的语音片段，这证实了众所周知的总之，可以设计更有效的系统，将人类和基于AI的软件组件的特定优势和弱点考虑在内。通过从用例开始系统设计，其中将不同的基于AI的组件考虑为系统参与者，可以明确和预先考虑基于规则的AI以及机器学习的在系统设计的后期，可以将活动分配给最合适的系统参与者和通道，并且活动图可以用作设计方法来优化人类和协作机器人的交互式工作场所。在自动驾驶汽车等一些应用领域，人工智能已经扮演了辅助技术的角色。虽然从长远来看，人工智能有可能取代人类驾驶员，但目前的应用场景是混合的，由人类和人工智能参与者之间的相互协作组成。除了图灵测试之外，其重点是构建一台无法与人类区分开的机器，目标应该是构建能够补充人类能力的构建将传统软件组件、知识工程和机器学习组件的功能更无缝地结合在一起的系统，可以帮助重塑传统的人机交互，使人类受益最多。人类可以专注于他们可以比机器更好地完成的有价值的活动，并从将繁琐的任务委托给机器中受益。引用Fast-Berglunda ， A. ， Palmkvistb ， F. ， Nyqvista ， P. ，Ekereda，S.和Akermana，M.（2016年）。为最终装配评估协作机器人。在第六届CIRP大会上的组装技术和系统。p.175-180Goyal，A.古普塔，五，Kumar和Recent，M. 2018.命名实体识别和分类技术：系统综述。印度昌迪加尔GGDSD学院信息技术系PGHengshan，A.（2018年）。会议记录助理。硕士论文。瑞士奥尔滕，瑞士西北应用科学大学商学院商业信息系统理学硕士IBM沃森。（2018年）。语音到文本演示。2018年6月11日检索，来自https://speech-to-text-demo.ng.bluemix.net/IBM.（2018年）。终结者自动认知会议记录。2018年5月3日检索，来自https://terminuter-demo.eu- gb.mybluemix.net/国际机器人联合会。（2018年）。2018年10月30日检索自https://ifr.org/ifr-press-releases/news/robot- density-rises-globallyJüngling S.，卢茨·J科尔库特湾Jäger J.（2018）.数字化企业中人机交互领域的创新潜力。在多恩伯格河。(eds)商业信息系统与技术4.0系统、决策与控制研究141. 施普林格拜纳茨湖（2018年）。专家：进展会议（短喜剧素描）-YouTube 。 2018 年 6 月 5 日 检 索 ， 来 自 https ： //www.y outube.com/watch? v=u8Kt7fRa2WcMcCann，D.（2016年）。到处都是机器CFO杂志（9月15日）http://ww2.cfo.com/applications/2016/09/robots-robots-everywhereMichalos G.，Spiliotopoulos J.，Makris S.，和无意识的G.解决问题2018.一种规划人类机器人共享任务的方法，CIRP制造科学与技术杂志https://doi.org/10.1016/J.CIRPJ.2018.05.003莫汉，M.和Bhat，A.（2018年）。联合目标人类机器人合作从记忆到推理，第八届生物启发认知架构国际年会，BICA-2017Otter.ai. （2018年）。Otter Voice Notes.2018年6月11日检索，来自https://otter.ai/loginRatner，A.和Ré，C.（2018年）。机器学习时代的知识库建设队列-机器学习。https://doi.org/10.1145/3236386.3243045Reason8.ai.（2018年）。reason 8与您的会议合作伙伴-项目经理、助理、业务分析师和每个做笔记和跟进的人。2018年10月29日检索，来自https://reason8.ai/Villani ， V. ， 机 电 一 体 化 。 （ 2018 年 ） 。https://doi.org/10.1016/j.mechatronics.2018.02.009