jupyter连接hive配置

### 配置 Jupyter Notebook 连接 Apache Hive

#### 1. 安装必要的依赖包
为了使 Jupyter 能够连接到 Hive，需要安装一些特定的库。这些库允许 Python 和 Spark 程序与 Hive 数据仓库通信。

对于 PyHive 库来说，在终端中可以使用 pip 工具来进行安装：

pip install pyhive[hive] thrift sasl

另外还需要安装 `thrift_sasl` 来处理 SASL 协议认证问题:

pip install thriftpy2 thrift-sasl

#### 2. 设置 SparkSession 并集成 Hive 支持
当配置好上述软件之后，可以在启动 SparkSession 的时候开启对 Hive 表的支持功能。这一步骤确保了能够读取并操作存储于 Hive 中的数据表结构以及元数据信息。

from pyspark.sql import SparkSession

spark = (
    SparkSession.builder.appName("Jupyter-Hive-Integration")
    .config("spark.sql.warehouse.dir", "/user/hive/warehouse")  
    .enableHiveSupport()
    .getOrCreate()
)

这段代码创建了一个新的 SparkSession 实例，并启用了对 Hive 的支持[^1]。

#### 3. 测试连接是否成功
一旦完成了前面两步的操作，现在应该能够在 Jupyter Notebook 当中执行 SQL 查询语句来验证一切正常工作。下面给出了一条简单的查询命令作为例子：

df = spark.sql('SELECT * FROM iris LIMIT 5')
df.show()

此段脚本将会从名为 "iris" 的表格里选取前五行记录显示出来。