B站知识图谱课程:环境部署与业务需求分析

0 下载量 175 浏览量 更新于2024-08-29 收藏 405KB PDF 举报
在【知识图谱学习笔记】B站课程P1-P4中,主要讲解了环境和设计基础的相关内容。课程首先介绍了开发环境的部署,其中涉及到Python第三方框架Py2neo,用于与Neo4j图数据库进行交互,Java作为图数据库开发的常用环境,以及清华大学的Thlac/corenlp自然语言处理工具包。课程还提到,教师提供了易于执行的程序,可以作为bat脚本直接运行,并且运行成功后会显示HTTP链接。 在项目业务需求分析阶段,强调了需求分析的重要性,要求开发者先明确应用场景。具体分析包括行业趋势,如搜索量级和地域细分;品牌分析,关注品牌搜索行为和持久性;还有车系、话题、用户画像等关键领域的洞察。此外,课程还提到了市场份额、黏性和用户兴趣的评估。 在总体架构设计部分,课程详细分解了应用层、业务层、数据层和ETL(提取、转换、加载)四个层次的功能。应用层主要包括智能搜索、问答和商品推荐,业务层接口涉及Django Web服务和底层的Py2neo框架。数据层则是通过Neo4j-Driver与数据库交互,ETL环节则利用爬虫框架处理来自汽车资讯、电商等多源的非结构化数据,进行清洗和转换,最后存入Neo4j中。 关于数据源的选择,结构化数据优先,但半结构化数据也需要通过爬虫获取。爬虫技术的关键在于下载网页、调度请求、处理结果以及与互联网交互。图数据库的选择则基于排名、文档、社区反馈和团队经验。课程还涉及了数据可视化的运用,以及模型设计的步骤,包括语义类型、关系、实体对象和属性的设计。 这门课程深入浅出地讲解了知识图谱开发的基础环境配置、业务需求分析、架构设计以及关键技术的应用,适合对知识图谱和相关领域有志于学习和实践的同学参考。