知识图谱与机器学习基础解析

需积分: 0 4 下载量 30 浏览量 更新于2024-06-17 3 收藏 1.76MB PDF 举报
"这篇资源是关于人工智能的导论笔记,主要涵盖了知识图谱和机器学习两大部分。笔记适合自学和整理使用,旨在帮助理解这两领域的核心概念和技术。" 一、知识图谱 知识图谱是一种将知识以图形形式表示的方法,它通过节点(实体)和边(关系)构建起一个语义网络,揭示不同实体之间的复杂联系。在知识图谱中,数据被分为两个层次:模式层和数据层。模式层描述了数据的组织结构,依据本体论思想构建数据模型,而数据层则包含具体的事实信息。知识图谱的构建有两种方式,一种是从上至下,先设计数据模型再填充数据;另一种是从下至上,先收集数据再归纳模型。 二、知识图谱的数据存储与构建过程 知识图谱的构建涉及到知识提取、知识融合(实体对齐)、数据模型构建和质量评估等步骤。数据存储通常需要适应知识图谱的复杂结构,如采用NoSQL数据库或特定的知识图谱存储系统。构建过程中,实体对齐是确保不同来源数据一致性的重要环节。 三、机器学习 机器学习是让模型通过学习数据来提升其预测能力的技术。其中涉及的关键概念包括数据集、样本、属性(特征)、特征向量、学习(训练)、训练数据和误差等。机器学习主要分为监督学习、无监督学习和半监督学习: 1. 监督学习:如分类(决策树、贝叶斯、SVM、逻辑回归)和回归(线性回归、岭回归、Lasso回归)问题,用于有标签数据的训练。 2. 无监督学习:如聚类算法,用于发现数据内部的结构和规律。 3. 半监督学习:在少量标注数据和大量未标注数据的情况下进行学习,包括数据采集、处理、特征工程和模型构建等步骤。 四、机器学习流程 机器学习流程通常包括数据采集、数据预处理、特征工程、模型建立、模型训练、模型优化(如参数调整)、模型融合以及模型评估。评估方法如10折交叉验证,确保模型的泛化能力。 这篇笔记总结提供了人工智能领域基础知识图谱和机器学习的全面概述,对于初学者或希望深入理解这两个主题的人来说是宝贵的参考资料。
2023-02-27 上传
⼈⼯智能之知识图谱体系总结 第⼀部分:知识图谱介绍 1. 知识概念图谱介绍:知识是认知,图是载体,数据是实现,结构化的数据进⾏关联形成了知识图谱 2. 知识图谱发展历程 1. ⼈⼯智能的发展介绍:5次重要的发展⾥程碑 2. 认知智能的基础:海量⾏为数据的知识化(推理预测),既定知识的海量数据化(表⽰和存储) 3. 知识⼯程的发展:⼀阶谓语表⽰; 知识的表⽰: 1. 语义⽹介绍:语义⽹要解决对Web内容增加语义后提供查询功能。 2. 语义⽹到知识图谱:抽取⽹页内容后,得到实体和实体关系 知识图谱的类型和代表性知识图谱 1. 知识图谱的类型:常见的⼤规模知识库,WordNet专家系统/Freebase/DBpedia/Wikidata 2. 典型知识图谱: 3. 语⾔类和项⽬类的知识图谱介绍 4. 应⽤类知识图谱的介绍 知识图谱的⽣命周期 1. 知识图谱的知识体系构建:抽取⽹页内容后,得到实体和实体关系,实体识别和消除歧义,关系抽取和事件抽取 2. 知识图谱的知识获取和融合:⼀种是基于RDF的存储;另⼀种是基于图数据库的存储。 知识图谱的应⽤场景 1. 应⽤场景之智能搜索和推荐:电商的商品推荐, 2. 应⽤场景之智慧⾦融和医疗 3. 知识图谱的内涵分析 4. 知识图谱的未来发展⽅向 知识图谱概述总结 1. 什么是⼈⼯智能?⼈⼯智能的发展历程是怎样的?如何学习⼈⼯智能?⼈⼯智能有哪些应⽤?知识⼯程如何兴起,已经伴随⼈⼯智能 的发展,促发了知识图谱的产⽣?⼤家回顾⼀下发展的关键⾥程碑: 2. 1956年的达特茅斯会议标志着"⼈⼯智能"概念的诞⽣。约翰·麦卡锡提出了"⼈⼯智能"⼀词,标志着⼈⼯智能这门学科的诞⽣。 麦卡锡也因此被誉为是"⼈⼯智能之⽗"。 3. 1977年,在五届⼈⼯智能⼤会上,斯坦福科学家爱德华·费根鲍姆提出知识⼯程概念,成为⼈⼯智能的⼀个重要⽅向。 4. 1997年,⼀个是⼗多年前IBM研发的计算机"深蓝"(DeepBlue)战胜了国际象棋冠军卡斯帕罗夫。 5. 2012年,⾕歌发布知识搜索引擎,基于知识图谱的实体技术,实现了从wikipieida维基百科中抽出实体及属性的知识⽹络。 6. 2019年3⽉27⽇,ACM(美国计算机学会)宣布,深度学习的三位创造者Geoffrey Hinton、Yann LeCun以及Yoshua Bengio共同 获得了2019年的图灵奖。 7. ⼈脑的思维模型是这样的:我们会从以往的经验中总结出规律,这样当遇到新问题的时候,我们会利⽤已有的规律来预测接下来会发 ⽣什么事,也就是预测未来。机器的思维模型与⼈脑⾮常的相似,它们是从历史数据中总结出⼀个⽐较通⽤的模型,这样当遇到新的 数据时,它们会利⽤已有的模型来挖掘出⼀些过去未曾发现的东西,也就是预测未知属性。 8. 案例⼀:喜欢看NBA的⼈都知道,⾦州勇⼠队是2015年、2017年和2018年NBA的总冠军,是当前NBA中炙⼿可热的⼀⽀球队。 但在2009年,它还是NBA⾥最烂的球队之⼀,成绩排名倒数第⼆。那么,它是如何在短短的⼏年之间实现从最差到最好的逆袭的 呢?这就要归功于科技的⼒量了。由于勇⼠队靠近科技之都硅⾕,⽽硅⾕从来都不缺少创新,因此就有⼈想到⽤科技的⼿段来改变这 ⽀球队。⾸先,硅⾕的⼯程师利⽤⼤数据和⼈⼯智能算法制定球队的发展战略和⽐赛战术;接着,经过数据分析,发现最有效的进攻 是准确的传球和投篮,⽽不是个⼈的突破和扣篮;然后,利⽤实时数据及时调整⽐赛中的战术。就这样,⾦州勇⼠队⼀跃成为了NBA 最⽜的球队之⼀,这也是⼤数据和⼈⼯智能改变体育⾏业的⼀个典型例⼦。 9. 案例⼆:⼤家对酒吧⾏业是否了解呢?传统的酒吧很难管理,美国酒吧的平均寿命不超过五年,除了经营不善之外,就要归因于酒⽔ 不好管理。据统计,⼀家酒吧⼤约23%的酒被酒保偷喝了,那么,有不有⽅法可以让难管理的酒吧变得容易管理呢?这时,⼤数据和 ⼈⼯智能⼜要显⾝⼿了。在成功的案例中,改造酒吧⾏业的⽅法为:⾸先,改造酒吧的酒架,装上可以测量重量的传感器以及⽆源的 RFID芯⽚读写器,然后再在每个酒瓶上贴上⼀个RFID的芯⽚;接着,分析每⼀家酒吧过去经营情况的统计数据,以帮助酒吧的主⼈全 ⾯了解经营情况;然后,为每⼀家酒吧的异常情况提供预警;最后,综合各家酒吧数据的收集和分析,利⽤⼈⼯智能算法为酒吧⽼板 提供该⾏业宏观的数据作为参考。 10. 案例三:⽐如对于教育⾏业,我们经常谈论个性化教育、因材施教的理念。其核⼼在于理解学⽣当前的知识体系,⽽且这种知识体系 依赖于我们所获取到的数据⽐如交互数据、评测数据、互动数据等等。为了分析学习路径以及知识结构,我们则需要针对于⼀个领域 的概念知识图谱,简单来讲就是概念拓扑结构。 1. "知识图谱本质上是语义⽹络(Semantic