数据采集实验四 熟悉Flume的基本使用方法

### 实验四：熟悉Flume的基本使用方法

#### 一. 实验目的
1. **了解并熟悉Flume的功能**
2. **掌握Flume的使用方法**，学会按要求编写相关配置文件

#### 二. 实验平台
- **操作系统**: Windows 10
- **Flume版本**: 1.9.0
- **Kafka版本**: 2.12
- **MySQL版本**: 8.0.23
- **Hadoop版本**: 3.1.3

#### 三. 实验要求

1. **MySQL数据输出**
- 在MySQL中建立数据库 `company` 和表 `staff`。

     create database company;
     use company;
     create table staff (
         id int not null,
         name varchar(40),
         age int,
         primary key(id)
     );

- 使用Flume实时捕捉MySQL数据库中的记录更新，并将新记录显示到控制台。
- 可以使用以下SQL语句模拟MySQL数据库中的记录生成操作：

     insert into staff (id,name,age) values(1,'Xiaoming',23);
     insert into staff (id,name,age) values(2,'Zhangsan',24);
     insert into staff (id,name,age) values(3,'Lisi',24);
     insert into staff (id,name,age) values(4,'Wangwu',21);
     insert into staff (id,name,age) values(5,'Weiliu',21);

2. **采集日志文件到HDFS**
- **采集目录到HDFS**:
- Flume监控本地某文件目录（自行指定），当该目录有新文件出现时，将其采集到HDFS。
- **采集文件到HDFS**:
- Flume监控本地某文件目录下的文件（自行指定），当文件被更新时，将更新的数据采集到HDFS。

- 需要提供相应的配置文件和步骤说明。

#### 四. 实验内容
- 完成上述实验要求的各项任务，包括数据库操作、Flume配置和数据采集。

#### 五. 实验小结
- 总结实验过程中遇到的问题及解决方法，以及对Flume使用的理解和体会。