部署flume 2、实现天气数据的采集，采hadoop fs -ls /user/hadoop/weather_data/2024-11-05/集的过程截图 3、ls查看采集的源目录的内容，hadoop fs查看hdfs上目标目录

部署Flume是一个用于日志收集和传输的数据管道系统，以下是部署的基本步骤：

1. **安装及配置**: 首先确保你的Hadoop集群已准备好。下载并解压Flume的tar.gz包，然后添加Flume到环境变量PATH中。配置Flume的conf文件夹，包含主节点的agent配置（如`flume-conf.xml`），包括source（数据源）、channel（数据缓冲区）和sink（数据目的地）。

2. **创建数据源**：在`flume-conf.xml`中，你可以定义一个HTTPSource从网络抓取天气数据，比如通过访问某个API获取JSON格式的数据。例如：

<Source>
  <http>
    <host>api.example.com</host>
    <port>8080</port>
    <uri>/weather</uri>
    <username>your_username</username>
    <password>your_password</password>
  </http>
</Source>

3. **设置数据通道**：使用`MemoryChannel`作为临时存储，如果需要持久化，可以选择`KafkaChannel`或`HDFSChannel`。配置示例：

<Channel>
  <memory capacity="1000" />
</Channel>

4. **配置数据接收端（Sink）**：将数据写入HDFS，可以配置`HDFS` sink，指定路径如`hdfs:///user/hadoop/weather_data/2024-11-05`。

<Sink>
  <hdfs path="/user/hadoop/weather_data/2024-11-05">
    <filenamePattern>${YEAR}-${MONTH}-${DAY}</filenamePattern>
    <append>true</append>
  </hdfs>
</Sink>

5. **启动Flume agent**：运行`bin/flume-ng agent start [agent_name]`命令启动Flume进程。

6. **验证数据采集**：
- 使用Linux命令 `hadoop fs -ls /user/hadoop/weather_data/2024-11-05` 来检查指定日期的目录是否存在，并列出其内容。
- 在HDFS浏览器（如WebHDFS或HUE）中，也可以查看实际存储的天气数据文件。

注意：由于这是文字描述，无法提供实际的截图，你需要按照上述步骤手动操作并在每个步骤完成后自行检查结果。如果遇到问题，可能需要查阅Flume官方文档或在线资源来解决问题。