hadoop连接达梦

### 配置Hadoop以连接达梦数据库

#### 1. 准备工作
为了使 Hadoop 能够成功连接到达梦数据库，需先准备好必要的驱动程序和支持文件。通常情况下，这涉及到下载并配置适用于达梦数据库的 JDBC 驱动。

对于达梦数据库而言，JDBC 驱动类名为 `dm.jdbc.driver.DmDriver`[^2]。确保该驱动已放置于所有节点上的 `$HADOOP_HOME/share/hadoop/common/lib/` 或者其他适当位置以便被加载。

#### 2. 修改 Hive 和 Hadoop 的配置文件
编辑 Hive 及其依赖组件的相关 XML 文件来指定正确的参数设置：

- **hive-site.xml**

更新此文件中的属性以指向目标达梦实例的具体信息，包括但不限于 IP 地址、端口、用户名和密码等必要字段。特别注意的是，在定义 `javax.jdo.option.ConnectionURL` 属性时应采用如下格式：

  <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:dm://database_ip:database_port/database_name?dmsvcconf=/path/to/dm_svc.conf</value>
  </property>

同样地，还需指明所使用的驱动器名称为 `dm.jdbc.driver.DmDriver`:

  <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>dm.jdbc.driver.DmDriver</value>
  </property>

- **core-site.xml**

如果计划利用 MapReduce 来处理来自达梦的数据，则可能还需要调整 core-site.xml 中的一些选项，比如增加 JVM 参数 `-Djava.security.krb5.realm=YOUR_REALM -Djava.security.krb5.kdc=kdc_host:port` (仅当涉及 Kerberos 认证时)。

#### 3. 测试连接
完成上述更改之后，可以通过执行简单的查询命令测试新建立起来的关系是否正常运作。例如，在 Hive CLI 下尝试运行一条 SELECT 语句查看返回的结果集；也可以编写一段 Java 应用程序调用相应的 API 方法来进行验证。

beeline -u "jdbc:hive2://localhost:10000/default;auth=noSasl" \
        -n hiveuser \
        -p password \
        --silent=true \
        --showHeader=false \
        --outputformat=dsv \
        -e 'SELECT * FROM test_table LIMIT 1;'

以上操作完成后即可实现 Hadoop 平台与本地或远程部署的达梦数据库之间的交互访问功能。