关于通过java调用datax,返回任务执行的方法_java调用datax,java集成datax

17 浏览量更新于2023-03-16 评论收藏 103KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

关于通过关于通过java调用调用datax,返回任务执行的方法返回任务执行的方法

今天小编就为大家分享一篇关于通过java调用datax,返回任务执行的方法，具有很好的参考价值，希望对大家有所帮

助。一起跟随小编过来看看吧

DATAX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、

ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

datax的详细介绍的详细介绍

请参考 DataX-Introduction

引言引言

因为业务需要，需要使用到datax把数据从文本写入到数据库，原来的做法都是使用python通过datax.py去调用脚本，阿文为了能更

好的管控datax的任务，阿文要求我们对datax进行改造，使用java集成的方式去调用datax，并返回任务执行的详细信息。

datax源码跟踪源码跟踪

从github下完源码开始改造，datax的启动类在datax-core包下Engine类的entry方法，该方法是一个静态方法。

public static void entry(final String[] args) throws Throwable {

Options options = new Options();

options.addOption("job", true, "Job config.");

options.addOption("jobid", true, "Job unique id.");

options.addOption("mode", true, "Job runtime mode.");

BasicParser parser = new BasicParser();

CommandLine cl = parser.parse(options, args);

String jobPath = cl.getOptionValue("job");

// 如果用户没有明确指定jobid, 则 datax.py 会指定 jobid 默认值为-1

String jobIdString = cl.getOptionValue("jobid");

RUNTIME_MODE = cl.getOptionValue("mode");

Configuration configuration = ConfigParser.parse(jobPath);

long jobId;

if (!"-1".equalsIgnoreCase(jobIdString)) {

jobId = Long.parseLong(jobIdString);

} else {

// only for dsc & ds & datax 3 update

String dscJobUrlPatternString = "/instance/(\d{1,})/config.xml";

String dsJobUrlPatternString = "/inner/job/(\d{1,})/config";

String dsTaskGroupUrlPatternString = "/inner/job/(\d{1,})/taskGroup/";

List<String> patternStringList = Arrays.asList(dscJobUrlPatternString,

dsJobUrlPatternString, dsTaskGroupUrlPatternString);

jobId = parseJobIdFromUrl(patternStringList, jobPath);

}

boolean isStandAloneMode = "standalone".equalsIgnoreCase(RUNTIME_MODE);

if (!isStandAloneMode && jobId == -1) {

// 如果不是 standalone 模式，那么 jobId 一定不能为-1

throw DataXException.asDataXException(FrameworkErrorCode.CONFIG_ERROR, "非 standalone 模式必须在 URL 中提供有效的 jobId.");

}

configuration.set(CoreConstant.DATAX_CORE_CONTAINER_JOB_ID, jobId);

//打印vmInfo

VMInfo vmInfo = VMInfo.getVmInfo();

if (vmInfo != null) {

LOG.info(vmInfo.toString());

}

LOG.info("\n" + Engine.filterJobConfiguration(configuration) + "");

LOG.debug(configuration.toJSON());

ConfigurationValidate.doValidate(configuration);

Engine engine = new Engine();

engine.start(configuration);

}

里面最后通过调用engine.start(configuration) 开始启动，我们点进去，最后会发现在里面是调用JobContainer 的start() 方法。

@Override

public void start() {

LOG.info("DataX jobContainer starts job.");

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

weixin_38645266

粉丝: 4
资源: 948

会员权益专享

关于通过java调用datax,返回任务执行的方法

评论0

会员权益专享

最新资源

关于通过java调用datax,返回任务执行的方法

评论0

java通过Python命令执行datax任务调度

java使用datax增量同步代码

java调用shell向DataX传递参数，where条件，包含特殊字符

JAVA调用datax_Java通过python命令执行DataX任务的实例|chu

java 调用datax传参

java cmd 掉datax

Java调用datax

java 操作 datax

datax的任务调度方法

java 集成datax

java整合datax

datax++java

java datax

datax-web执行器

java环境安装datax

datax java

datax执行器管理

springboot整合datax的使用

java整合datax mysql 增量同步，不使用shell脚本运行，使用纯java代码如何实现

会员权益专享

最新资源