datax transformer 参数

datax内置的transformer有五种类型，分别是SubstrTransformer、PadTransformer、ReplaceTransformer、FilterTransformer和GroovyTransformer。每种transformer都有不同的参数设置。

对于SubstrTransformer，它的参数包括：
- columnName：要操作的列名。
- startIndex：截取的起始位置。
- length：截取的长度。

对于PadTransformer，它的参数包括：
- columnName：要操作的列名。
- padString：填充的字符串。
- padSide：填充的位置，可选值为"LEFT"、"RIGHT"或"BOTH"。
- padLength：填充后的总长度。

对于ReplaceTransformer，它的参数包括：
- columnName：要操作的列名。
- searchValue：要替换的字符串。
- replacement：替换后的字符串。

对于FilterTransformer，它的参数包括：
- columnName：要过滤的列名。
- pattern：匹配的正则表达式。
- useRegex：是否使用正则表达式进行匹配。

对于GroovyTransformer，它的参数包括：
- columnName：要操作的列名。
- script：要执行的Groovy脚本。

以上是datax内置transformer的参数介绍，你可以根据需要配置相应的参数来实现数据转换的功能。

相关问题

Datax内置的txtToJson Transformer 要求有fieldDelimiter。encodingcolumns jsonColumns 如何编写

在 Datax 中，txtToJson Transformer 是用于将文本格式的数据转换为 JSON 格式的 Transformer。该 Transformer 支持以下参数：

- fieldDelimiter：字段分隔符，用来指定文本文件中不同字段之间的分隔符。可以是普通字符，也可以是正则表达式。默认值为 `\t`。
- encoding：文本文件的编码格式，默认值为 UTF-8。
- encodingColumns：需要进行编码转换的列名列表，多个列名之间用逗号分隔。
- jsonColumns：需要转换为 JSON 格式的列名列表，多个列名之间用逗号分隔。

下面是一个示例配置：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                        "path": "/path/to/inputfile",
                        "fieldDelimiter": ",",
                        "encoding": "GBK"
                    }
                },
                "transformer": {
                    "name": "txttojson",
                    "parameter": {
                        "encodingColumns": "col1,col2",
                        "jsonColumns": "col3,col4"
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": true
                    }
                }
            }
        ]
    }
}

在上面的配置中，我们指定了以下内容：

- 数据源为文本文件，路径为 `/path/to/inputfile`。
- 文本文件中的字段分隔符为逗号。
- 文本文件的编码格式为 GBK。
- 需要进行编码转换的列为 `col1` 和 `col2`。
- 需要转换为 JSON 格式的列为 `col3` 和 `col4`。
- 输出结果使用标准输出流打印。

datax如何将自定义的transformer插件加载到一个新项目中去

要将自定义的transformer插件加载到一个新项目中，可以按照以下步骤操作：

1. 将自定义的transformer插件打包成一个jar包或者zip包。

2. 在新项目中配置datax的job配置文件，添加自定义的transformer插件的配置信息，例如：

   {
     "job": {
       "content": [
         {
           "reader": { ... },
           "transformer": [
             {
               "name": "customTransformer",
               "parameter": {
                 "customParam": "value"
               }
             }
           ],
           "writer": { ... }
         }
       ]
     }
   }

其中，"name"对应自定义的transformer插件的类名，"parameter"表示自定义的transformer插件的参数。

3. 将自定义的transformer插件的jar包或者zip包放置到datax的plugin目录下。

4. 启动datax任务，datax会自动加载plugin目录下的所有插件，包括自定义的transformer插件。

注意事项：

- 自定义的transformer插件需要继承DataTransformer类，并实现其transform方法。

- 自定义的transformer插件的jar包或者zip包需要与datax版本对应。

- 自定义的transformer插件的配置信息需要按照datax的job配置文件的格式配置，具体可以参考datax的官方文档。