DataX如何配置去重选项？

在DataX中配置去重选项通常涉及到设置`Job`或`Channel`级别的属性，具体取决于你是想在整个作业中全局去重，还是针对某个特定的通道（如MySQL的写入通道）。以下是基本步骤：

1. **全局去重（全量导入）**：
- 在Job配置中添加`:transformer enable="true"`启用全局去重特性。
- 如果想要基于特定列去重，可以在`conf`标签下配置`deduplicate_columns`，例如：

     <transformer name="transformer" type="com.alibaba.datax.core.transforms.deduplicate.Deduplicate">
       <field name="uniqueColumn" value="your_unique_column_name"/>
     </transformer>

2. **局部去重（增量导入）**：
- 对于只读通道（如HDFS），不需要额外配置，因为一般增量导入会自动跳过已存在的数据。
- 对于写入通道（如MySQL），可能需要在`channel`配置里加入`enableDedupe`属性，以及对应的去重字段，如下：

     <channel id="mysql-channel" type="jdbc">
       <property name="enableDedupe" value="true"/>
       <property name="uniqueKey" value="your_unique_key"/>
     </channel>

记得重启DataX服务，使其应用新的配置。