通过shell脚本定时采集数据到HDFS

在Linux系统中，通过Shell脚本来定期采集数据并将其保存到Hadoop分布式文件系统(HDFS)是一个常见的操作。这通常涉及到三个步骤：创建cron job（计划任务）、编写shell脚本以及配置数据采集和HDFS上传。

1. **设置cron job**:
- 使用`crontab -e`命令打开用户的cron表编辑器。
- 添加一个新的条目来指定你想要的定时任务。格式通常是：`MIN HOUR DAY MONTH DAY_OF_WEEK COMMAND`，例如 `0 2 * * *` 表示每天凌晨2点执行任务。
- 在这条新的行中，输入你的shell脚本路径加上命令`/path/to/your/script.sh`。

2. **编写shell脚本** (`script.sh`):
- 首先，你需要安装必要的工具，如hadoop的客户端工具`hdfs dfs`。

   #!/bin/bash

   # 数据采集部分（假设你正在抓取一个网页）
   data=$(curl -s "http://example.com/data")

   # 将数据保存为临时文件
   temp_file=$(mktemp)

   echo "$data" > $temp_file

   # 上传到HDFS
   hdfs dfs -put $temp_file /path/in/hdfs/directory

3. **权限设置**:
- 确保脚本有执行权限：`chmod +x script.sh`
- 如果你的脚本需要访问HDFS，可能还需要检查Hadoop用户和组的权限设置。

完成以上步骤后，shell脚本将在指定的时间自动运行，并将数据上传到HDFS。