MySQL的jar包拷贝到sqoop/lib下的代码

在使用Sqoop将数据从MySQL导入到Hadoop时，如果你需要使用特定版本的MySQL JDBC驱动（JAR包），通常的做法是在Sqoop的lib目录下添加这个JAR。以下是一个基本的步骤：

1. **下载MySQL JDBC驱动**：首先，你需要从MySQL官方网站或其他可靠源下载对应的JDBC驱动JAR文件，例如`mysql-connector-java-x.x.x.jar`。

2. **复制JAR到 Sqoop lib 目录**：打开你的Sqoop项目的目录结构，找到`bin`目录下的`sqoop`子目录，然后进入`lib`子目录。将下载的JAR文件复制到这里。

   cd /path/to/your/sqoop/project/bin/sqoop/lib
   mkdir -p mysql-driver-directory
   cp mysql-connector-java-x.x.x.jar mysql-driver-directory/

3. **配置环境变量**：为了让Sqoop能够识别并加载这个新添加的JAR，你可能需要更新系统或项目级别的环境变量，比如`CLASSPATH`或`SQOOP_LIB_DIR`。

4. **运行Sqoop命令**：现在你可以运行Sqoop任务了，JDBC驱动应该已经被正确地加载到了。

注意：如果你正在使用的是Sqoop2，那么jar包通常是自动搜索`lib`目录的，不需要额外设置环境变量。但在Sqoop1中，可能会有所差异。

相关问题

将hive lib中的jar包拷贝到sqoop lib中报错 Missing Hive MetaStore connection URI

这个错误通常是因为在配置Sqoop时没有正确设置Hive元数据存储连接URI。您可以按照以下步骤解决此问题：

1. 确保您已经正确安装和配置了Hadoop和Hive，并且可以在Hive中运行查询。

2. 在Sqoop的配置文件中（例如sqoop-site.xml），设置Hive元数据存储连接URI。例如，如果您使用的是MySQL数据库作为Hive元数据存储，则可以使用以下代码：

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hostname:port/hivemetastore?createDatabaseIfNotExist=true</value>
</property>

请注意，您需要根据您的环境更改主机名，端口号和数据库名称。

3. 确保您已经将Hive lib中的所有jar文件正确地复制到Sqoop lib目录中。您可以检查Sqoop lib目录中是否存在hive-metastore.jar和hive-exec.jar等文件。

4. 重新启动Sqoop，并尝试运行您的Sqoop作业。

如果上述步骤无法解决问题，请检查Sqoop日志以获取更多详细信息，以确定问题的根本原因。

基于sqoop实现学生信息的迁移: 1、准备数据库info,创建学生信息表,包含字段(id,name,age),插入记录。截图 2、搭建sqoop,截图 3、将学生信息表中记录迁移到hdfs的/hb 4、查看hdfs的/hb中的数据

### 基于 Sqoop 实现学生信息的迁移步骤

#### 1. 准备数据库 `info` 和创建学生信息表

1. **登录 MySQL 并创建数据库 `info`：**

   mysql -uroot -p123123 -h127.0.0.1
   create database info;

2. **创建用户并授予权限：**

   create user 'bee'@'%' identified by '123123';
   grant all privileges on info.* to 'bee'@'%' identified by '123123';
   flush privileges;

3. **选择数据库 `info` 并创建学生信息表 `stu`：**

   use info;
   create table stu (id int, name varchar(20), age int);

4. **插入记录：**

   insert into stu values (1, '张三', 20);
   insert into stu values (2, '李四', 22);

**截图：** 完成上述操作后，截图保存。

#### 2. 搭建 Sqoop

1. **下载并解压 Sqoop：**

   cd /opt/software
   wget http://example.com/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/modules
   cd /opt/modules
   mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

2. **配置环境变量：**

   vi /etc/profile

添加以下内容：

   SQOOP_HOME=/opt/modules/sqoop
   export PATH=$PATH:$SQOOP_HOME/bin

保存并退出，然后使配置生效：

   source /etc/profile

3. **将数据库驱动拷贝到 Sqoop 的 lib 目录下：**

   cp /opt/software/mysql-connector-java-8.0.19-bin.jar /opt/modules/sqoop/lib

4. **配置 `sqoop-env.sh`：**

   cd /opt/modules/sqoop/conf
   cp sqoop-env-template.sh sqoop-env.sh
   vi sqoop-env.sh

添加以下内容：

   export HADOOP_COMMON_HOME=/opt/modules/hadoop
   export HADOOP_MAPRED_HOME=/opt/modules/hadoop

保存并退出。

**截图：** 完成上述操作后，截图保存。

#### 3. 将学生信息表中记录迁移到 HDFS 的 `/hb`

1. **列出数据库中的所有表：**

   sqoop list-databases --connect jdbc:mysql://localhost:3306/info --username bee --password 123123

2. **导入学生信息表 `stu` 到 HDFS 的 `/hb` 目录：**

   sqoop import --connect jdbc:mysql://localhost:3306/info --username bee --password 123123 --table stu --columns="id,name,age" --target-dir '/hb' -m 1

**截图：** 完成上述操作后，截图保存。

#### 4. 查看 HDFS 的 `/hb` 中的数据

1. **进入 HDFS 并查看 `/hb` 目录下的数据：**

   hdfs dfs -cat /hb/part-m-00000

**截图：** 完成上述操作后，截图保存。

以上步骤完成后，您应该能够成功地将学生信息表从 MySQL 迁移到 HDFS，并验证数据的正确性。