![](https://csdnimg.cn/release/download_crawler_static/86372957/bg1.jpg)
一、根据我们的 spark 定时任务进行 job 的编写
基本一个 spark 任务编写一个 job
(例外如下
1.我们将 25,26,27 任务合并成一个 job,合并原因是这三个 spark 任务的实
现方法极其相似,我们就在 spark 任务代码中将他们写到一个 scala 对象中。
该 job 作用为向 ads_usr_dau_cube、ads_usr_wau_cube、ads_usr_mau_cube 表
中导入数据,这三个表的具体执行时间在实现方法中做了判断
2.我们将 44,45,46 任务合并成一个 job,合并原因同上。该 job 只需要调用
这 个 scala 对 象 就 行 了 。 该 job 作 用 为 向 base_user_active_day 、
base_user_active_week、base_user_active_month 表中导入数据,这三个表的
具体执行时间在实现方法中做了判断)
以任务 1、2 为例
任务 1:dwd_base_event_log.job
1. type=command
2. command=spark-submit --master yarn --deploy-mode cluster --class cn.edu.neu.titan.titanSpark.analy
sis.base.function.JSONParseFunction /BigData/jars/titanSpark-1.0-SNAPSHOT.jar
任务 2:dwd_base_page_log.job 依赖于 dwd_base_event_log.job
1. type=command
2. dependencies=dwd_base_event_log
3. command=spark-submit --master yarn --deploy-mode cluster --class cn.edu.neu.titan.titanSpark.analy
sis.base.function.JSONParseFunction /BigData/jars/titanSpark-1.0-SNAPSHOT.jar