软件影响11（2022）100218原始软件出版物AI-GlobalEvents：用人工智能分析、识别和解释全球事件的软件Fahim K Sufi澳大利亚联邦政府A R T I C L E I N F O保留字：全球事件人工智能决策支持系统AI全球新闻分析利用机器学习AI进行突发新闻分析A B标准AI-GlobalEvents是一个决策支持仪表板，用于政策规划人员根据全球新闻和事件进行战略威胁评估。它使用AI服务和算法自动聚合全球新闻从在线新闻门户网站、网站和社交媒体获取信息，以分析事件并识别需要立即关注的关键事件。该软件使用实体检测、情感分析、异常检测和回归等AI算法来生成自然语言解释。它能够在各 种 平 台 上 呈 现 结 果 ， 包 括 手 机 （ Android 或 iOS ） ， 平 板 电 脑 或 桌 面 环 境 。 AI-GlobalEvents 可 在https://github.com/DrSufi/GlobalEvent上获得。代码元数据当前代码版本v2用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-171可复制胶囊法律代码许可证MIT许可证使用的代码版本控制系统无使用DAX、Microsoft Power Automate、Microsoft Power Query、Microsoft Power BI的软件代码语言、工具和服务编译要求、操作环境和依赖关系Microsoft Power BI Desktop如果可用，请链接到开发人员文档/手册问题支持电子邮件research@fahimsufi.com1. 软件描述AI-GlobalEvents是一个智能仪表板，可以自动分析数千条全球新闻，使用基于人工智能（AI）的算法和服务识别和解释突发新闻。根据[1]中的文献，AI-GlobalEvents是最准确和最强大的媒体分析解决方案，它使用基于Microsoft的生态系统实现了端到端自动化，包括Microsoft Power Automate，Microsoft Power BI Desktop，MicrosoftPower BI Service ， Microsoft PowerQuery 和 Microsoft AzureCognitive Services 。 首 先 ， 使 用 Microsoft Power Automate 和Microsoft Power Query自动捕获和聚合数千条新闻。然后，使用基于AI的服务（如实体检测和情感分析）自动显示特征。一旦从新闻描述中提取了特征，基于AI的算法就会执行异常检测[2]，线性回归[3]和逻辑回归[4，5]。最后，使用自然语言以简单的语言向用户解释电子邮件地址：research@fahimsufi.com。https://doi.org/10.1016/j.simpa.2022.100218处理技术（NLP）[6]。图图1示出了将基于AI的特征提取与AI AI特征提取的应用相结合的示意图，AI特征提取涉及异常检测、线性回归和逻辑回归。战略决策者可以在他们选择的任何设备上使用AI-GlobalEvents自动识别异常新闻，这些异常的根本原因是基于NLP的解释，包括移动设备（iOS和Android），平板电脑或台式机。2. 软件特征体系结构图图2显示了AI-GlobalEvents的架构图，由业务层（黄色）和应用层（蓝色）组成。图中使用的紫色元素。2代表了AI- GlobalEvents的目标，它们是Archimate 3.1规范的动机方面的一部分[7]。接收日期：2021年11月22日;接收日期：2021年12月16日;接受日期：2021年12月19日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impacts法光苏菲派软件影响11（2022）1002182���Fig. 1. AI-GlobalEvents示意图图二、 在ArchiMate企业架构建模语言中 描 述 的 AI - G l o b a l E v e n t s 的 架 构 ， 包括业务层和应用层。以下是AI-GlobalEvents的三个主要目标：1. 识别异常2. 获取异常3. 向用户解释原因如图所示。2、这三个目标通过业务流程实现，称为“用SR识别、分析和解释异常&CNN“和”用线性和逻辑回归分析和解释关键驱动因素“。但是，这些业务流程是由 通过其他预先要求的业务流程，如“获取全局事件”和“从全局事件中提取特征”。称为“用户界面”的业务服务通过相应的接口支持桌面用户、Web用户和移动用户。‘‘Identify, Analyze and Explain Anomalies with SR功率BI服务（基于云 服务）[1]。 对 另一方面，另一种可视化AI-GlobalEvents架构的方法是通过图。3，其中建筑元素之间的不同关系遵循Archimate标准[7]。3. 软件算法方法学AI-GlobalEvents中的算法（即算法1）使用Entity_detection（）和Sentiment_Detection（），这两个基于AI的函数都是Microsoft Azure认知服务的一部分。Entity_detection（）函数接受全局事件描述并创建命名实体（实体）列表以及实体类别（实体）。������Sent-timent_Detection（）将传入的全局事件描述作为输入，并返回0到1之间的十进制值。���接近0的值表示消极情绪，接近1的值表示积极情绪。Microsoft Power BI的AnomalyDetection（）函数，采用命名的实体（Entities）、实体类别（EntityCategories）和实体情感（Entity Feedings）作为输入������Regression’’并返回一组异常，���以及造成这一问题的根本原因Microsoft Power BI Desktop和Microsoft Power BI Service [1]。当桌面用户由Microsoft Power BI桌面应用程序提供服务时检测到的异常（异常）。最后，Microsoft Power BI������移动和Web用户由Microsoft Power BI服务提供服务分类（英语：Entity sentiments）（）作为输入和返回值，���Microsoft Power Automate 应 用 程 序 从 Twitter ， Facebook ，Instagram，LinkedIn等众多社交媒体来源获取全球事件，如果需要从BBC，CNN，纽约时报等在线新闻网站获取全球事件数据，则在Microsoft Power Query Editor上使用Mashup语言或M语言，这也是Microsoft Power BI Desktop的一部分。Microsoft Power Automate还用于实现业务流程“从全局事件中提取功能”以及Microsoft Azure认知服务。 情感分析和实体检测（如图所示）。1作为特征提取机制）是Microsoft Azure认知服务的一部分。实体之间的所有可能的关系以及关系类型。���该算法被描绘为图1中的流程图。 四、异常检测和回归过程的简要细节描述如下：(a) 异常检测：Microsoft Power BI的折线图支持基于AI的异常检测。给定一个实值序列，即，=1，2，3，������������������������������������所实现的解决方案借用了频谱残差（SR），法光苏菲派软件影响11（2022）1002183‖‖⎢⎥（）下一页图3.第三章。Archim ate 3. 1 符 号 中 AI-GlobalEvents架构元素和关系的 网 络 视 图 。见图4。算 法 流程图检测和分析以诚实为中心的 情感，（）=（）− A（）（5）���������（）=−1（exp（（）+（）（6）���其中，分别表示傅立叶变换和傅立叶逆变换。������其中，λ是具有形状λ1的输入序列，A（λ）是序列x的幅度谱， 是序列A的对应相位谱，（A）是A（A）的对数表示，A（A）是（A）的平均谱，其可以通过将输入序列卷积为A（A）来近似，其中A（A）是被定义为：������11...1全球事件源。⎢⎡⎤⎥111...1���（（七）视觉显著性检测域，然后应用卷积，将传统神经网络（CNN）应用于SR模型产生的结果[2]。谱残差算法由三个部分������2⋯⋮⋱1⎢⎣1 11⎥⎦主要步骤：1. 傅里叶变换得到对数振幅谱2. 光谱残差3. 逆傅立叶变换，将序列转换回空间域A（）= A（（））（1）���������������������������（）=（（））（2）������������������（）=（A（））（3）������������A（）=（）。���（三）（四）（λ）是谱残差，即对数谱（λ）减去平均对数谱A（λ）。谱残差用作序列的压缩表示，而原始序列的创新部分变得更重要。最后，使用逆傅立叶变换将序列转移回空间域。结果序列（S1）被称为显着图[2]。异常点的值计算如下：���������������������������������=其中，R2是前几点的局部平均值， var是当前滑动窗口内所有点的平均值和方差，并且随机采样var（0，1）在这法光苏菲派软件影响11（2022）1002184[客户端]图五、使 用 来自视觉显著性检测域的光谱残差（SR）进 行 异 常 检 测 的 案 例 研 究 ，然后应用卷积神经网络（CNN）。过程中，CNN被应用于显着图而不是原始输入，使异常检测的整个过程更有效[2]。(b) 回归：AI-GlobalEvents使用两种不同类型的回归分析（即，线性回归和逻辑回归）与MS Power BI的关键影响者可视化，以找到全局事件特征属性与全局事件中出现的负面情绪水平之间的关系。对于数值特征，使用Microsoft的ML.Net的SDCA回归实现进行线性回归线性回归的目标是找到可以准确预测连续因变量输出的最佳拟合线通过寻找最佳拟合线，该算法建立了一个线性关系之间的依赖和独立的变量的形式方程。（九）、���������������=(c) 另一方面，对于分类特征，使用ML.Net的L-BFGS逻辑回归进行逻辑回归逻辑回归是使用监督学习技术的最流行的ML算法之一。使用Logistic回归预测分类因变量，并使用Eq.（十）、���������∕���−1=���0+���1���1+���2���2+⋯������������(10)4. 软件演示与案例研究首先，使用AI-GlobalEvents，选择“抗议骚乱”作为事件类别，以过滤与7600起抗议和骚乱事件有关的然后，通过基于AI的异常检测算法突出显示三个异常，如图所示。5（a）.当用户点击第一个异常时，可解释的人工智能会显示以下消息：“2021年6月19日星期六，负面信心出乎意料地高。其值为72.60，高于预期范围44.13和此外，以下两个解释的根本原因的异常：地区是东南亚（54%的强度）：东南亚地区的描述置信度异常高，这可能已经提高了整体的负置信度（如图所示）。 5（b））。目标环境是城市（38%强度）：目标环境的描述置信度异常高，这可能提高了描述负置信度总和（如图5（c）所示）。对于回归分析的情况，使用Microsoft Power BI的关键影响者视觉来识别和解释影响全球新闻中负面性的因素之间的关系。 例如图6（a）表明，当全球性事件中死亡总数减少时，该事件的负面影响也会减少，折痕（即，正相关）。 由于“死亡人数”是一个数字变量，基于人工智能的 线性回归 可以自 动绘制相 关系数 的线性关 系（ 图1 ） 。 6（a））。另一方面，Fig. 6（b）描述了隐藏的关系，积极组国籍为西撒哈拉，负信任度平均下降0.45。活动组国籍是一个统计变量，如图2所示，在背景中使用基于AI的逻辑回归用条形图显示了这种关系。6（b）.因此，Fig. 6.用线性回归和逻辑回归分析和解释关键驱动因素5. 软件影响战略规划者、政策制定者和外交战略家总是关注全球事件及其对社会、群体和地点的微妙影响。这些政治科学家、政策制定者和战略家通常对数据建模和人工智能算法的知识有限。因此，他们的决策过程严重依赖于专家数据科学家的建议，他们手动执行AI模型，然后总结结果。这些任务的依赖性和委托往往会导致决策的显著延迟[1，8]。AI-GlobalEvents消除了这些依赖性，并允许战略决策者对全球事件做出即时循证决策，具有以下优势：a. 它允许在国防部门或政府机构工作的战略决策者做出基于证据的政策决策。AI-GlobalEvents将允许用户了解特定地区全球事件的特征，并为政策实施和与受影响群体，政府和非政府实体的外交关系提供有用的指导。b. 除 了 政 策 制 定 者 ， 当 地 新 闻 机 构 和 记 者 也 可 以 从 AI-GlobalEvents中受益，因为它可以有效地突出与成千上万的常规事件相比具有更多负面影响的关键事件。c. 它可以由没有数据科学和AI算法先验知识的用户执行。d. 它立即准备数据并立即执行AI建模，支持快速决策。e. 该系统可以部署在任何一组强大的平台中，包括基于Android或iOS的移动电话。因此，战略决策者可以直接从他们位于远程的电话访问系统。f. 它是完全可扩展的，支持多个数据源和无限的并发用户。g. 它以通俗易懂的语言向战略决策者法光苏菲派软件影响11（2022）1002185图六、 Microsoft Power BI的 关 键 影 响 者 可 视 化 案 例 研 究 。（a）数字数据的线性回归（b）分类数据的逻辑回归h. AI-GlobalEvents能够以高精度处理2.76 × 108404 个动态场景（即，实体检测的F1评分为0.994，异常检测的AUC为0.914）[1]。在[1]中，AI-GlobalEvents被部署和监控了92天，在此期间，自动化系统成功地从2，397个新闻来源（包括社交媒体）收集了22，425个全球事件的描述。[1]中的结果还表明，该系统能够将来自全局事件描述的27，827个实体自动分类为12种不同的实体类型（例如，谁进行了事件，他们的国籍是什么，事件发生在哪里，谁是目标）[1]。此外，AI-GlobalEvents自动提取这些事件的情感，并将情感分配给检测到的实体[1]。因此，用户可以容易地获得对诸如“在特定的一天什么是最重要的事件”和“昨天最具破坏性的事件的位置是什么”的查询的有见地的回答。为了获得上述好处，政治学家或战略家可以从GitHub源代码控制站点https://github.com/DrSufi/GlobalEvent[9]下载完整的源文件（.pbix）以及全局事件数据（.csv）文件。使用MS PowerBI Desktop下载并打开整个解决方案后，用户可以将解决方案托管到Microsoft Cloud或本地网络中，以便其他研究人员或战略规划人员使用。应该注意的是，MS Power BI 可从www.example.com 免费下载https://app.powerbi。com/.在未来的版本中，AI-GlobalEvents将生成代表全球地理特殊威胁的热图。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用[1]法光Sufi，M. Alsulami，全球事件的自动多维分析与实体检测，情感分析和异常检测，IEEE Access 9（2021）152449-152460。[2] H. 伦湾，巴西-地Xu，Y.Wang，C.Yi，C.Huang，X.寇氏T.邢，M.杨 ，J. 唐 ，Q. Zhang，微软的时间序列异常检测服务，KDD[3]H.- F. 于角J. Hsieh，K.- W. 昌角，澳-地J. Lin，Large linear classification when datacannot fit in memory，KDD[4]H. Matthies，G.非线性有限元方程组的求解，国际工程学报。 J. 数 字 。方法工程学14（11）1613[5] J.Nocedal， 更 新 有 限 存 储 的 拟 牛 顿 矩 阵 ， Math.Comp. 35 （ 151 ）（1980）773-782。[6]Microsoft文档，选择Azure中的自然语言处理技术，第25卷，第2期，2020年，[在线]。可用网址：https://docs.microsoft.com/en-us/azure/architecture/data-guide/technology-choices/natural-language-processing。[7]开放组，archimate 3.1规范，2021，[在线]。网址：pubs.opengroup.org/architecture/archimate3-doc/。（2021年11月1日查阅）。[8]法光Sufi，M. Alsulami，使用自动机器学习算法的全球滑坡知识发现，IEEE Access9（2021）131400-131419。[9]F.苏菲，全球事件解析解源文件，2021，[在线]。可通过以下网址获得：https://github.com/DrSufi/GlobalEvent。（2021年10月27日查阅）。
