通过sqoop从HDFS导入直接到MySQL语句

SQOOP是一种数据迁移工具，主要用于在Hadoop HDFS和关系型数据库如MySQL之间进行数据迁移。以下是使用SQOOP从HDFS将数据导入MySQL的基本步骤和命令语法：

首先，你需要确保已经安装了SQOOP，并配置好了MySQL连接信息。然后，你可以创建一个`sql`目录并编写一个映射文件（如`import.sql`），描述数据如何从HDFS路径导出到MySQL表中。这个文件通常包含CREATE TABLE、INSERT INTO等SQL语句。

例如，一个简单的映射文件可能如下所示：

<configuration>
<property>
<name>inputdir</name>
<value>/path/to/hdfs/directory</value>
</property>
<property>
<name>outputtable</name>
<value>your_mysql_table_name</value>
</property>
<property>
<name>username</name>
<value>your_mysql_username</value>
</property>
<property>
<name>password</name>
<value>your_mysql_password</value>
</property>
<property>
<name>driver</name>
<value>com.mysql.jdbc.Driver</value>
</property>
</configuration>

-- SQL INSERT INTO部分
insert into `your_mysql_table_name` (column1, column2, ...)
select col1, col2, ... from hdfs://...;

导入数据的命令可以是这样的（假设你已经在PATH环境变量中设置了SQOOP_HOME）：

sqoop import \
-m 10 --connect "jdbc:mysql://localhost:3306/your_database" \
-u your_username \
-p your_password \
--target-dir /path/to/output/dir \
--direct \
-o import.sql

这条命令表示并发度为10，从`import.sql`导入数据到MySQL，使用直接模式（`--direct`）提高性能，输出结果到指定目录。