基于sqoop实现学生信息的迁移: 1、准备数据库info,创建学生信息表,包含字段(id,name,age),插入记录。截图 2、搭建sqoop,截图 3、将学生信息表中记录迁移到hdfs的/hb 4、查看hdfs的/hb中的数据
时间: 2024-12-10 19:35:32 浏览: 19
基于Sqoop实现学生信息的迁移是一个从关系型数据库到Hadoop HDFS的数据迁移过程,以下是步骤概述:
1. **准备数据库**:
首先,你需要在一个名为`info`的数据库中创建一个名为`students`的表,结构如下:
```sql
CREATE TABLE students (
id INT PRIMARY KEY,
name VARCHAR(100),
age INT
);
```
插入一些示例记录,例如:
```sql
INSERT INTO students (id, name, age) VALUES (1, '张三', 20);
INSERT INTO students (id, name, age) VALUES (2, '李四', 22);
```
确保数据库连接可用。
2. **搭建Sqoop**:
- 安装并配置 Sqoop:下载并解压到合适目录,然后添加其bin路径至系统环境变量。
- 创建一个Sqoop的配置文件(如:`sqoop.properties`),设置数据库连接信息(如用户名、密码、主机名等)。
3. **迁移数据**:
使用命令行工具,创建一个作业来导入数据库表到HDFS:
```bash
sqoop import \
--connect "jdbc:mysql://<db_host>:<port>/info" \
--table students \
--target-dir /hb/students \
--username <username> \
--password <password>
```
这会把`students`表的内容导出到`/hb/students`目录下。
4. **验证HDFS数据**:
- 打开Hadoop的Web界面(默认http://<namenode_host>:50070),登录后浏览HDFS的目录树,确认`/hb/students`存在,并检查其中是否包含了刚才导入的学生信息文件。
- 可以通过`hdfs dfs -ls /hb/students`命令查看该目录内容。
阅读全文