kettle中配置hadoop

Kettle（也称为Pentaho Data Integration，简称KDI）是一个开源的数据集成工具，常用于数据转换、数据清洗和数据加载等工作。配置Hadoop在Kettle中主要是为了使用Hadoop MapReduce或Hadoop Streaming进行大数据处理。

1. **添加Hadoop连接**:
- 打开Kettle designer，选择"Database Connections"，然后点击"+"添加一个新的连接。
- 在"New Connection Wizard"中，选择"Other"，然后选择"MapRoulette"（如果Hadoop支持MapRoulette协议）或者"Hadoop"，填写必要的Hadoop集群配置，如主机名、端口、核心-site.xml和hdfs-site.xml路径。

2. **配置Hadoop Job Entry**:
- 在工具箱中找到"Transformations"，选择"Hadoop Job Entry"，双击添加到你的工作流程中。
- 设置Job Entry属性，如Job Name、Jar或Script文件、输入和输出目录，以及配置Mapper和Reducer（如果适用）。

3. **指定Input/Output Format**:
- 在Job Entry的"Input/Output step"选项中，选择正确的InputFormat（如TextInputFormat）和OutputFormat（如TextOutputFormat）。

4. **设置Mapper/Reducer**:
- 如果使用的是MapReduce，配置Mapper和Reducer的类路径，以及参数传递。

5. **运行Job**:
- 完成配置后，可以通过"Run Now"按钮直接在Kettle中执行Hadoop任务，或者将其打包为Job，保存后在调度器中定期运行。