没有合适的资源?快使用搜索试试~ 我知道了~
881语言水平对复习文本可读性的影响及基于transformer的语言判断模型熟练程度萨利姆·萨泽德ssazz001@odu.eduOld Dominion University(Old DominionUniversity)关闭NC,USA摘要本文分析了非英语母语者的英语语言能力对他们所写文章可读性的影响。此外,我们提出了多种方法来自动确定非英语母语者的语言能力水平的审查数据。 为了完成上述任务,我们首先介绍了一个由以下五个英语语言能力(ELP)组的非英语母语者撰写的约1000篇评论的注释社交媒体语料库:非常高的能力(VHP),高能力(HP ),中等能力(MP ),低能力(LP )和非常低的能力(VLP)。我们采用Flesch Reading Ease(FLE)和Flesch-KincaidGrade(FKG)测试来计算各个ELP组撰写的评论的可读性得分。 我们利用经典的机器学习(ML)分类器和基于transformer的语言模型来确定审稿人的语言水平组。我们观察到不同的ELP组在平均FRE评分方面没有表现出任何明显的差异,尽管在FKG测试中观察到轻微的差异。结果表明,可读性指标对不同ELP群体的区分能力不 高 。 在 语 言 水 平 确 定 任 务 中 , 我 们 注 意 到 微 调 的 基 于transformer的方法比传统的ML分类器产生更好的效果。CCS概念• 社会和专业主题→用户特征;·信息系统→万维网。关键词可读性、语言熟练度、用户统计、母语分类、BERTACM参考格式:萨利姆·萨泽德2022年 语言能力对复习文本可读性的影响及基于转换器的语言能力判定模型。 在网络会议2022(WWW '22同伴)的同伴程序,2022年4月25日至29日,虚拟活动,里昂,法国。ACM,美国纽约州纽约市,6页。https://doi.org/10.1145/3487553.3524666本 作 品 采 用 知 识 共 享 署 名 国 际 协 议 ( Creative Commons AttributionInternational)授权4.0许可证。WWW©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9130-6/22/04。https://doi.org/10.1145/3487553.35246661引言作为一种通用语言,由世界各地的非母语人士撰写的英语文本在网络和社交媒体上非常普遍[9]。事实上,在大约15亿讲英语的人中,只有不到4亿人将英语作为第一语言,这表明存在超过10亿的第二英语使用者。 大量的网络内容是由这些非母语人士不断产生的。分析非英语母语者撰写的文本内容的语言特征对于法律语言学,作者分析和作者身份识别等领域的决策具有重要意义[20]。非英语母语者的英语语言能力因人口统计而异。教育第一(EF),一家专门从事语言培训的国际教育公司,发布了英语能力指数(EPI),该指数根据一套标准(如下所述)2描述了非英语母语者的英语能力。(1) 极高熟练度(VHP):属于这一群体的人能够在社交场合中使用微妙和适当的语言,并且可以轻松阅读高级文本(2) 高熟练度(HP):这类人可以在工作中做演示,理解电视节目和阅读报纸。(3) 中等水平(MP):这类人可以参加自己专业领域的会议(4) 低熟练度(LP):代表这一群体的人能够作为游客在英语国家航行,可以与同事进行闲聊,并理解来自同事的简单电子邮件。(5) 极低熟练度(VLP):这类人可以介绍自己的姓名、年龄、原籍国信息,理解简单的标志,并能为外国游客提供基本的方向。2021年EF EPI报告将112个国家的整体英语水平(ELP)分为上述五组。可读性是理解书面文本的容易程度[6]。文本的可读性在很大程度上取决于内容(例如,词汇、语法)和表示。有许多方法可以确定文本的可读性[3,7];然而,大多数方法都是1https://www.weforum.org/agenda/2019/11/countries-that-speak-english-as-a-第二语言/2https://www.ef.com/wwen/epi/WWW萨利姆·萨泽德882他们中的一些需要超过100个单词的文本来计算可读性分数。Flesch Reading Ease Formula [7]是一种简单的方法来确定文本的可读性,适用于不同年级的读者。 它是少数几个可以应用于不同类型文本的方法之一。[14]是一个类似于FRE的公式;但是,它对各个项使用不同的权重。在本研究中,我们解决以下两个任务:i) 探讨文本可读性与作者英语水平ii) 从社交媒体评论文本中确定作者的语言能力组。为了执行上述任务,我们引入了一个带注释的非母语英语评论语料库,该语料库包括大约1000个评论,其中每个评论都标记有ELP组之一(例如,VHP、HP、MP、LP、VLP)。综述的标签是根据综述收集国的ELP组确定的这些评论来自以下国家:芬兰(非常高水平)、肯尼亚(高水平)、中国(中等水平)、孟加拉国(低水平)、缅甸(非常低水平)。然后,我们使用FRE和FKG测试来观察不同ELP组撰写的评论在可读性方面是否存在差异。 我们观察到,FRE可读性分数是不同的ELP组相似。FKG测试显示,英语流利程度前三名和后两名之间存在一些差异结果表明,可读性的措施是不是一个有效的度量来区分各种ELP组。此外,我们的目标是通过利用机器学习(ML)算法和注释数据自动区分不同ELP组的评论 我们利用四种流行的经典ML(CML)分类器和基于transformer的语言模型。经过微调的基于transformer的模型产生的结果略好于性能最好的CML分类器,获得了0.77的宏F1分数。1.1贡献本研究的主要贡献可归纳如下:我们引入了一个新的社交媒体语料库,其中包含约1000篇非英语母语人士撰写的评论,并将其公开3。我们手动将评论分为五个英语语言能力(ELP)组。我们通过计算FRE和FKG得分来比较不同ELP组评论最后,我们采用传统的ML分类器和基于Transformer的微调语言模型,将评论到不同的ELP组中。2相关工作一些相关的研究试图确定文本内容的人口统计信息例如,一些研究试图仅根据写作样本来确定非英语母语作家的母语。[2、15、24]。然而,尽管相关,但与考虑语言能力的这项研究不同,3 https://github.com/sazzadcsedu/EnglishLanguageProficiency.git表一:各类电子学习计划组别的统计数字ELP集团代表性样本数量国家VHP芬兰185HP肯尼亚194MP中国195LP孟加拉国220VLP缅甸202调查了非英语母语写作者的母语(l1)。此外,他们的研究视角(大部分)是第二语言习得(SLA)研究,如对比分析,非母语者的句法或语法错误[15,26],基于从ESL(英语作为第二语言)学习者的样本作文中编译的语料库,如TOEFL(英语作为外语的测试)[1],国际学习者英语语料库[10]。Tezult等人 [24]试图从ESL学生生成的小型语料库中识别母语。作者考虑了各种字符级别的词汇特征,单词,POS标签和文档结构来构建分类器。Jarvis等人[12]在NLI-2013共享任务中获得了83.6%的准确率,该任务基于托福考试的12,100篇英语作文的数据集作者使用了诸如单词n-grams、词性和词元等特征。为了将频率归一化,作者应用了对数熵加权方案。 作为分类器,使用L2正则化SVM分类器。Gebre等人[8]提出了一种基于TF-IDF加权和几种线性分类器(如支持向量机(SVM),逻辑回归(LR)和感知器)的母语识别 他们提出的模型在NLISharedTask-2013中获得了0.814的高准确度,用于对一组11种母语进行分类。此外,许多论文研究了人口统计学对语言分析的影响[22]。Sazzed [21]研究了对比两个数据集的两个人口统计学上不同的群体的评论的语言特征。关于可读性,一些研究调查了可读性对各个领域的影响,如商业,科学研究,健康[4,11,13,17,18]。Pancer等人[18]表明文本阅读能力在推动消费者参与社交媒体方面起着关键作用。通过分析来自一个摄影博客的4,000个Facebook帖子,作者发现,易于阅读的帖子在社交媒体上更受欢迎,评论和分享。Guerini等人[11]研究了科学摘要语料库和三个反馈指标:文章下载,引用和书签。作者发现,摘要的某些风格和可读性特征对科学文章的成功和病毒式传播有影响。Tempuva等人[23]调查了2012年至2013年期间与危机沟通相关的政府、非政府组织和主流媒体推文的可读性。作者举例说明了影响理解的不利因素。此外,他们还提供了如何提高理解的指导方针。····语言水平对复习文本可读性的影响WWW883206 835 1 01584 6图1:来自不同群体的评论样本列表然而,现有的研究还没有对英语语言水平与文本可读性之间的关系进行过。据我们所知,这是第一个旨在映射社交媒体文本两个重要方面的工作3数据集3.1数据收集和注释本研究中使用的所有评论数据均从TripAdvisor网站手动收集4。TripAdvisor是全球最大的旅游平台,包含数百万条关于地点、酒店、餐厅和航班的旅行者评论和意见。我们利用不同ELP群体的非英语母语人士撰写的餐厅评论为了收集特定于ELP组的样本数据,我们使用EF提供的特定于国家的ELP组分类根据EF分类,我们选择了针对位于五个不同国家的餐厅撰写的评论,每个国家代表一个特定的ELP组。表1显示了ELP组、代表国家以及每个ELP组的样本数量。即使每个组的选定餐厅位于特定的国家,评论也可以由非本地人(如游客)撰写。由于我们的研究严重依赖于具有上述属性中的一个或多个缺失并不罕见。例如,许多用户喜欢隐藏位置信息或使用任意名称(例如,不像国家/种族/文化的占位符名称)。此外,简档图片可能不可用或者可能没有意义(例如, 各种物体的图片)。由于我们只对一个国家的本地人撰写的评论感兴趣,除非我们确定用户的国家,否则我们不会将用户和相应的评论包含在数据集中。图1显示了来自不同群体的样本评论4不同ELP组审查的可读性评估应用Flesch Reading Ease(FRE)测试来观察五个ELP组的平均可读性得分是否不同。这个可读性测试表明了英语文章的难理解程度。在FRE测试中,较高的分数表明内容更容易阅读。以下公式用于计算文本内容中的FRE分数总单词总音节数FRE=.−。×−. ×ELP群体的特点,关键是要确保总刑期总字数每个ELP组仅包含代表性评论。对于注释,我们考虑从TripAdvisor用户配置文件获得的以下三个用户属性:i)城市和国家,ii)名称和iii)配置文件图片。然而,在社交媒体上,4https://www.tripadvisor.comFRE计算的两个主要标准是句子长度(即,每个句子的平均单词数)和单词中音节的存在。图2提供了不同范围的FRE评分的解释。WWW萨利姆·萨泽德8840 3911 8图2:FRE评分的解释[7]Flesch-Kincaid Grade Level (英 语: Flesch-Kincaid GradeLevel)是另一个用来测试文本可读性的虽然FRE和FKG测试采用相同的核心标准(即,单词和句子长度),采用不同的加权因子这两个测试的结果近似成反比:在FRE测试中得分相对较高的文本在FKG测试中的得分应该较低每个评分系统中每个句子的单词和每个单词的音节的不同加权因子意味着这两个方案不能直接比较,也不能转换。 以下公式用于计算FKG评分-[25]本研究中使用的模型由12层变换器块组成,其中每个块包含12个头部自我注意层和768个隐藏层。另 一 种 基 于 transformer 的 语 言 模 型 , RoBERTa ( Ro-bustlyoptimized BERT),是为了克服BERT的一些局限性而引入的。基于RoberTa的模型由12个Transformer层组成,其中包含768个隐藏层、12个注意力头和1.25亿个参数。与BERT使用静态掩码不同,RoBERTA使用动态掩码。每次将序列输入模型时,RoBERTa都会生成新的掩蔽模式。5.2.2微调。 我们将用于分类评价的预训练模型微调为五个类别(即,ELP组的数量由于这是一个分类任务,我们利用预训练模型的分类模块拥抱脸库[25]用于微调所有预训练的模型。由于预训练模型的初始层只学习非常一般的特征,因此我们保持它们的完整性。只有预训练模型的最后一层被微调用于分类任务。 我们在预训练模型的基础上再添加一层进行分类。为了进行微调,我们将输入的训练数据标记并馈送到语言模型,并对模型进行一些步骤的训练;训练后的模型随后用于对测试数据进行分类。使用的小批量大小为16,学习率为0.00004在训练过程中,20%的样本被用作验证集。总字FKG=.×总刑期+。×- 十五块五毛九音节总数Adam优化器用于优化,损失函数设置为稀疏分类交叉熵。训练过程运行3个时期,并采用提前停止标准。Flesch-Kincaid Grade(FKG)相当于美国的教育水平 它表示理解一段文字所需的教育水平。例如,一个文本的FKG分数为6意味着读者需要至少6级的阅读知识才能理解它。5ELP组预测任务5.1经典ML分类器我们采用了四种经典的ML(CML)分类器:逻辑回归(LR),支持向量机(SVM),随机森林(RF)和K-最近邻(k-NN)来预测ELP组的评论者。我们从重新查看的文本中提取基于单词的一元词和二元词一个n-gram是一个连续的n个项目的序列,从一个样本的文本.计算所提取的n元语法特征的tf-idf(词频-逆文档频率)分数,然后将其用作CML分类器的输入。对于所有CML分类器,scikit-learn库的默认参数设置[19]使用。对于所有的分类器,使用类平衡权重。对于k-NN,k的值被设置为5。5.2预训练语言模型5.2.1BERT语言模型我们采用了两种基于transformer的语言模型,BERT [5]和RoBERTa [16]。Bidirectional EncoderRepresentations from Transformers(BERT)是一个预先训练的语言模型,由大量未标记的数据创建。BERT利用Transformer来学习文本中单词之间的上下文关系BERT-base-uncased6评估、结果和讨论我们进行10倍交叉验证来评估各种方法的性能。10重交叉验证将数据分为10- 相互独立的子集。训练过程运行10次迭代;在每次迭代中,选择一个新的子集作为测试集,其他9个子集作为训练集。 我们报告了各种方法的整体精确度,召回率,宏F1和准确度。表2:平均值和标准差(Std.)各英语能力组别的英语能力ELP组平均标准品VHP 68.69 15.96惠普67.67 12.39MP 66.78黎巴嫩镑68.16 18.15VLP 72.78表2和表3显示了不同ELP组的可读性得分我们报告平均值和标准差(Std.)不同ELP组的可读性得分值我们发现,可读性测试不能充分区分ELP组,因为他们不能捕捉形态的差异,在词汇使用的多样性,或句子的复杂性(它只计算句子的长度和音节的数量)。此外,对于信息较少的短文本,确定可读性具有高度挑战性。的各种语言水平对复习文本可读性的影响WWW885表3:平均值和标准差(Std.)各英语能力组别的FKGELP集团平均标准品VHP6.923.37HP7.082.88MP7.614.52LP5.943.41VLP5.682.59表4:用于ELP组确定任务的各种方法的性能分类器 精度 召回F1准确度LR 0.78 0.73 0.75 75.91%SVM0.790.710.7574.63%RF0.780.600.6865.81%k-NN0.690.640.6766.01%伯特0.780.760.7777.32%罗伯塔0.770.760.7776.92%可读性测试不是为短文本设计的;它们更适合于确定大的和正式的文本内容的可读性。在社交媒体上发现的简短的非正式评论,通常少于100个字,不是比较或检查可读性的最佳样本。表4显示了用于确定各种语言能力组的分类器的性能。 正如我们所看到的,表现最好的CML分类器是LR和SVM,两者的F1得分都在0.75左右。 RF和k-NN表现出相对较差的性能。基于变压器的BERT和ROBERTA模型通过获得约0.77的F1分数产生最佳性能。由于ELP组识别任务是一个5类分类问题,F1分数接近0.8可以被认为是有希望的结果。此外,在这里,我们使用了大约1000条评论的有限注释样本 如果更多的注释数据被纳入BERT基础模型,预计分类性能将得到改善。然而,分类器的高效率应仔细解释;由于每个语言能力组由一个国家代表,各种国家特有的功能可能会对结果产生积极影响。7总结和结论在这项研究中,我们介绍了一个语料库,由大约1000评论与评论者的英语语言水平注释。我们调查了不同英语水平群体的文本可读性此外,我们利用经典的ML分类器和基于transformer的预训练语言模型来确定评审员的语言水平。我们的研究结果和发现表明,可读性分数是不是一个很好的预测语言流畅性的作家时,非正式的社交媒体文本的关注。利用有限的标记数据,经典的ML分类器和基于transformer的微调语言模型都证明了确定作者英语水平组的有效性。虽然结果可能是受语言熟练群体的各种国家具体特征的积极影响 我们的未来将专注于增加语料库的规模,并包括从多个国家收集的每个ELP组的评论。引用[1] Daniel Blanchard,Joel Tehrult,Derrick Higgins,Aoife Cahill,andMartin Chodorow.2013年。TOEFL11:非母语英语语料库ETS ResearchReport Series2013,2(2013),i[2] 朱利安·布鲁克和格雷姆·赫斯特2013.使用“廉价”学习者语料库进行母语检测学习者语料库研究二十年。回顾过去,向前迈进:第一次学习者语料库研究会议(LCR 2011),卷。1.一、Presses universitaires de Louvain,37.[3] Meri Coleman和Ta Lin Liau。一九七五年为机器评分设计的计算机可读公式。Journal of Applied Psychology60,2(1975),283.[4] Scott W Davis , Csilla Horváth , Anaïs Gretry , and Nina Belei.2019年。说什么?推文可读性和品牌享乐主义的相互作用如何影响消费者参与。商业研究杂志100(2019),150[5] JacobDevlin , Ming-WeiChang , WendonLee , andKristinaToutanova.2018年Bert:深度双向转换器的预训练,用于语言理解。 arXiv预印本arXiv:1810.04805(2018)。[6] 威廉·杜贝2004年。可读性的原则在线提交(2004年)。[7] 鲁道夫·弗莱施1979.如何写简单的英语。坎特伯雷大学。可查阅http://www. 芒坎特伯雷AC. nz/writing_guide/writing/flesch. shtml。[2016年2月5日](1979年)[8] Binyam Gebrekidan Gebre , Marcos Zampieri , Peter Wittenburg , and TomHeskes.2013. 用tf-idf加权改进母语识别 在第八届NAACL研讨会上,NLP在教育应用中的创新使用(BEA8)。216-223[9] Gili Goldin,Ella Rabinovich,and Shuly Wintner.2018年 使用用户生成的内容进行母语识别。2018年自然语言处理经验方法会议论文集。3591-3601[10] 西尔维娅恩·格兰杰2003年。国际学习者英语语料库:外语教学和二语习得研究的新Tesol Quarterly37,3(2003),538[11] 马可·盖里尼阿尔贝托·佩佩和布鲁诺·莱普里。2012年。科学摘要的语言风格和可读性是否影响其病毒式传播?在网络和社交媒体国际AAAI会议的程序,卷。第六章475-478[12] 斯科特·贾维斯伊夫·贝斯特根和史蒂夫·佩珀2013.最大化母语识别中的 第八届NLP创新应用于构建教育应用研讨会论文集。111-118[13] WooksooKim、Isok Kim、Krisztina Baltimore、Ahmed Salman Imtiaz、BiplabSud-hin Bhattacharya和Li Lin。2020年。内 容 简单,可读性强:提高LEP人群的健康素养。国际医学信息学杂志141(2020),104230。[14] 彼得·金凯德,小罗伯特·P·菲什伯恩,理查德·L·罗杰斯和布拉德·S·奇索姆。1975. 海军士兵新的可读性公式(自动可读性指数、雾计数和肉读容易公式)的推导。技术报告。海军技术训练司令部米林顿田纳西研究分部。[15] Moshe Koppel,Jonathan Schler,and Kfir Zigdon. 2005.自动确定匿名作者在情报和安全信息学国际会议上。斯普林格,209[16] YinhanLiu , Myle Ott , Naman Goyal , Jingfei Du , Mandar Joshi , DanqiChen,OmerLevy,Mike Lewis,Luke Zettlemoyer,and Veselin Stoyanov.2019年。Roberta:一种鲁棒优化的bert预训练方法。 arXiv预印本arXiv:1907.11692(2019)。[17] 乔·麦凯维奇和戴夫·叶芝。2014年。 产品评论用户对评论质量的感知:可信度、信息量和可读性的作用。 IEEETransactions on Professional Communication 57,4(2014),309-324. 网址://doi. org/10.1109/TPC.2014.2373891[18] 伊森·潘瑟文森特·钱德勒麦克斯韦·普尔和西奥多·J·诺斯沃西2019. 可读性如何塑造社交媒体参与度。消费者心理学杂志29,2(2019),262[19] F.佩德雷戈萨湾Varoquaux,A. Gramfort,V. Michel,B.蒂里翁岛Grisel,M.Blondel,P.普雷滕霍费尔河Weiss,V.Dubbillet,J.Vanderplas,A.Passos,D.Cour-napeau , M. Brucher , M.Perrot 和 E. 杜 舍 奈 2011 年 。 Scikit-learn :Python中的机器学习Journal of Machine Learning Research12(2011),2825[20] Raheem Sarwar , Attapol T Rutherford , Saeed-Ul Hassan , ThanawinRakthan-manon,and Sarana Nutanong.2020.流利和先进的非母语作家的母语识别。 ACM Transactions on Asian and Low-ResourceLanguage InformationProcessing(TALLIP)19,4(2020),1-19。[21] 萨利姆·萨泽德2021年餐馆评论的意见挖掘和比较语言学分析的混合方法。在自然语言处理最新进展国际会议(RANLP 2021)上。1281-1288.WWW萨利姆·萨泽德886[22] 萨利姆·萨泽德2022. Stylometric Analysis and Classification of DemographicallyDiverseReviewData(StylometricAnalysisandClassificationofDemographically Diverse Review Data)。[23] 伊琳娜·特梅洛娃莎拉·维维格和卡洛斯·卡斯蒂略2015年。社会媒体中危机沟通的可读性案例。 在第24届万维网国际会议上。1245-1250年。[24] 乔尔·特鲁特丹尼尔·布兰查德和奥伊夫·卡希尔。2013年。 关于第一个母语识别共享任务的报告。 在第八次研讨会上,关于创新使用NLP构建教育应用程序。48比57[25] Thomas Wolf , Lysandre Debut , Victor Sanh , Julien Chaumond , ClementDelangue , Anthony Moi , Pierric Ciudad , Tim Rault , Rémi Louf ,Morgan Funtowicz,JoeDavison,Sam Shleifer,Patrick von Platen,Clara Ma,Yacine Jernite,Julien Plu , Canwen Xu , Teven Le Scao , Sylvain Gugger , MariamaDrame,Quentin Lhoest,and Alexander M.急2020.变形金刚:最先进的自然语言处理。2020年自然语言处理经验方法会议论文集:系统演示。计算语言学协 会 , 在 线 , 38-45 。 https://www.aclweb.org/anthology/2020.emnlp-demos.6[26] Sze-Meng Jojo Wong和Mark Dras。2009年 对比分析与母语识别。在2009年澳大利亚语言技术协会研讨会上。53比61
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- BSC绩效考核指标汇总 (2).docx
- BSC资料.pdf
- BSC绩效考核指标汇总 (3).pdf
- C5000W常见问题解决方案.docx
- BSC概念 (2).pdf
- ESP8266智能家居.docx
- ESP8266智能家居.pdf
- BSC概念 HR猫猫.docx
- C5000W常见问题解决方案.pdf
- BSC模板:关键绩效指标示例(财务、客户、内部运营、学习成长四个方面).docx
- BSC概念.docx
- BSC模板:关键绩效指标示例(财务、客户、内部运营、学习成长四个方面).pdf
- BSC概念.pdf
- 各种智能算法的总结汇总.docx
- BSC概念 HR猫猫.pdf
- bsc概念hr猫猫.pdf
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)