实验内容-cpda数据分析师用书关注于分布式SQL引擎Inceptor的学习,特别是针对数据工程师(初级)认证级别的课程。本实验的主要目标是让学生掌握Waterdrop的安装和使用,以及Inceptor SQL的基本操作。通过上机实验的形式,学生将在实践中了解Inceptor事务的原子性、一致性、隔离性等核心概念。
实验首先要求学生下载并安装TDH Client,这是进行后续操作的基础工具。接下来,他们需要下载Waterdrop和Inceptor SDK,然后在本地工作目录(/mnt/disk1/{student_name})和HDFS工作目录(/tmp/{student_name})中进行相应配置。Inceptor外表目录(/tmp/{student_name}/inceptor_data)用于存放实验相关的数据结构,而Inceptor数据库的命名则基于学员的全拼。
实验的核心内容分为两部分:
1. 安装和连接Waterdrop to Inceptor:
- 学生需要使用sz命令下载必要的软件包,包括Waterdrop、Inceptor SDK和JDK。
- 安装JDK并确保JAVA_HOME和PATH环境变量设置正确。
- 解压Waterdrop并执行,启动该工具。
- 添加Inceptor SDK驱动,以便支持InceptorServer2类型的连接。
- 建立连接,指定集群的第一个节点IP地址、10000端口,且需注意避免不必要的Guardian服务以避免kerberos认证问题。
2. 验证Inceptor事务的ACID属性:
- 学习如何在Inceptor环境中设置事务,如设置事务类型为inceptor,并关闭语义检查以更好地理解和实践。
- 创建普通ORC表,这涉及到SQL语句的编写和执行,通过这些操作来验证事务的原子性(Atomicity)、一致性(Consistency)和隔离性(Isolation)。
通过这个实验,学生不仅能够熟悉Inceptor SQL的工作流程,还能深入理解分布式数据库系统中关键概念的实际应用,提升他们的大数据处理和SQL操作技能。