spark-thrift注册到zk

Spark Thrift是一种用于将Apache Spark与Hive Metastore集成的工具。它允许我们通过Hive SQL语法来执行Spark SQL查询，并通过JDBC/ODBC接口提供对外的访问。

要将Spark Thrift注册到ZooKeeper（zk），我们需要进行以下步骤：

1. 启动ZooKeeper：首先，我们需要确保ZooKeeper已经正确安装和启动。可以通过命令行输入`zkServer.sh start`（在Linux上）或`zkServer.bat` start（在Windows上）来启动ZooKeeper。

2. 配置Spark Thrift：我们需要在Spark Thrift的配置文件中指定ZooKeeper的地址和端口号。可以通过编辑Spark Thrift的`spark-thrift-shim.conf`文件来完成。在配置文件中，找到`spark.sql.hive.thriftServer.singleSession`选项，并将其设置为`true`。然后，找到`hive.zookeeper.quorum`选项，并将其值设置为ZooKeeper的地址和端口号，例如`localhost:2181`。保存并关闭配置文件。

3. 启动Spark Thrift：运行Spark Thrift Server，它将作为一个单独的进程运行。可以使用以下命令启动Spark Thrift：

   ./sbin/start-thriftserver.sh --master <master-url>

`<master-url>`是Spark的Master的URL，例如`spark://localhost:7077`。

4. 验证注册：启动Spark Thrift后，它将自动在ZooKeeper注册。我们可以使用ZooKeeper客户端工具（例如`zkCli.sh`）连接到ZooKeeper，并查看Spark Thrift的注册情况。

   ./bin/zkCli.sh -server localhost:2181

在ZooKeeper的命令行中，使用`ls`命令列出ZooKeeper的节点。

   ls /spark/sql

如果`spark-thrift-server`节点存在并包含一些子节点，就表示Spark Thrift成功注册到了ZooKeeper。

通过以上步骤，我们就可以将Spark Thrift成功注册到ZooKeeper，从而可以通过JDBC/ODBC接口访问并执行Spark SQL查询。