Python使用pyspark连接远程hive数据库

要在 PySpark 中连接远程 Hive 数据库，可以按照以下步骤进行操作：

1. 确保远程 Hive 服务器已经启动，并且您已经拥有连接远程 Hive 的权限。
2. 在 PySpark 中创建 SparkSession 对象，并将 Hive 库设置为默认库：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("HiveExample") \
    .config("hive.metastore.uris", "thrift://<host>:<port>") \ # 替换为远程Hive服务的主机名和端口号
    .config("spark.sql.warehouse.dir", "/user/hive/warehouse") \ # 替换为Hive库的路径
    .enableHiveSupport() \
    .getOrCreate()

3. 输入上述代码后，您可以使用 spark 对象连接远程 Hive 数据库，并执行 SQL 查询，例如：

df = spark.sql("SELECT * FROM <table_name> LIMIT 10") # 替换为要查询的表名
df.show()

请注意，连接远程 Hive 数据库可能需要额外的配置和权限，具体取决于您使用的 Hive 版本和设置。