Hadoop伪分布配置sqoop、MySQL完整步骤

Hadoop伪分布式模式是一种用于本地测试Hadoop集群环境的方式，它不需要外部的HDFS和YARN服务，而是直接在本地机器上模拟运行。而SQOOP是一个数据迁移工具，主要用于将结构化数据从关系数据库迁移到Hadoop生态系统中的大数据处理平台。

以下是使用SQOOP在Hadoop伪分布式环境中与MySQL进行交互的一般步骤：

1. **安装并配置Hadoop**:
- 安装Hadoop，并设置环境变量`JAVA_HOME`, `HADOOP_HOME`, 等。
- 配置`hadoop-env.sh`和`core-site.xml`文件，启用伪分布式模式。
- 修改`mapred-site.xml`文件，添加对本地资源的引用，例如`fs.defaultFS`设为`file:///`。

2. **配置MySQL**:
- 安装MySQL并启动服务。
- 确保MySQL已经配置了允许远程连接（如果需要的话）。

3. **安装并配置SQOOP**:
- 下载并解压SQOOP到某个目录，比如`/usr/local/sqoop`。
- 将`sqoop/bin`添加到系统路径中。
- 创建一个配置文件`sqoop.properties`，指定MySQL的JDBC URL、用户名和密码。

4. **创建数据导入作业（Export）**:
- 使用命令行，导航至SQOOP目录，然后执行如下命令：

     sqoop import \
       --connect "jdbc:mysql://localhost/<your_database>" \
       --username <your_username> \
       --password <your_password> \
       --table <your_table_name> \
       --target-dir /path/to/hdfs/directory \
       --num-mappers 1

这里 `<your_database>`、`<your_username>` 和 `<your_password>` 应替换为实际的MySQL信息，`<your_table_name>` 是要导出的表名，`/path/to/hdfs/directory` 是HDFS的目标位置。

5. **验证数据是否成功导入HDFS**:
可以通过Hadoop命令行工具检查目标目录是否存在导出的数据文件。

6. **数据导出（Import）**:
对于数据反向同步，可以使用类似的操作，只是方向相反，`export`变为`import`。