hadoop3.x 配置sqoop

在Hadoop 3.x中配置Sqoop需要执行以下步骤：

1. 下载Sqoop

下载适合Hadoop 3.x版本的Sqoop。可以从Sqoop的官方网站下载，也可以从Apache镜像站点下载。一旦下载完成，解压Sqoop到任意目录。

2. 配置环境变量

使用以下命令设置Sqoop环境变量：

export SQOOP_HOME=/path/to/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

3. 配置Sqoop

在Sqoop的conf目录中，有一个名为sqoop-env-template.sh的文件。将此文件复制为sqoop-env.sh并打开它。设置以下变量：

export HADOOP_COMMON_HOME=/path/to/hadoop
export HADOOP_MAPRED_HOME=/path/to/hadoop
export HIVE_HOME=/path/to/hive

4. 配置Hadoop连接

在Sqoop的conf目录中，有一个名为sqoop.properties文件。打开此文件并设置以下变量：

sqoop.metastore.client.autoconnect.url=jdbc:<database>://<host>:<port>/<database_name>
sqoop.metastore.client.connect.string=jdbc:<database>://<host>:<port>/<database_name>
sqoop.metastore.driver=<database_driver_class>
sqoop.metastore.username=<database_username>
sqoop.metastore.password=<database_password>

其中，<database>是数据库类型，例如mysql；<host>是数据库所在的主机名或IP地址；<port>是数据库服务的端口号；<database_name>是数据库名称；<database_driver_class>是数据库的驱动程序类；<database_username>是数据库用户名；<database_password>是数据库密码。

5. 配置Hadoop连接参数

在Sqoop的conf目录中，有一个名为sqoop-site.xml文件。打开此文件并设置以下变量：

<name>hadoop.home.dir</name>
<value>/path/to/hadoop</value>

6. 测试连接

使用以下命令测试Sqoop连接是否正常：

sqoop list-databases --connect <connection_string> --username <username> --password <password>

其中，<connection_string>是数据库连接字符串，例如jdbc:mysql://localhost:3306；<username>是数据库用户名；<password>是数据库密码。

如果一切正常，Sqoop会返回数据库中的所有数据库名称。