oozie常用语句

2024-07-21 02:51:49

字体：大中小

来源：转载

供稿：网友

一.oozie的介绍：oozie可以被称为一个调度系统，具体可参照此篇博文：http://shiyanjun.cn/archives/684.html 以上这篇博文将oozie的功能和使用方法介绍的很详细二.oozie执行后续监控：可以将oozie的执行结果写入MySQL数据表中，通过本地的sh mysql.sh可以查看oozie的执行情况： 1.执行时长统计：

select tp.app_name ,ta.id ,(unix_timestamp(tb.end_time) - unix_timestamp(tb.created_time))/60 long_minutes ,date_format(adddate(date(ta.nominal_time),interval -1 day),'%Y%m%d') data_datefrom ( select * from COORD_JOBS ---oozie job的报表 where status='RUNNING' -- and app_name like 'ods%') tp inner join ( SELECT * FROM COORD_ACTIONS ---oozie action的list报表) ta on tp.id = ta.job_id AND tp.last_action_number=ta.action_number inner join ( select * from WF_ACTIONS --oozie每个action执行时间报表 where id like '%hive%') tb on ta.external_id = tb.wf_idorder by long_minutes desc LIMIT 50;

上述代码可用于查看执行时长较长的任务名称，便于优化代码。 2.用于检查任务状态

select -- ta.id, concat('oozie job -rerun ',tb.id,' -action ',ta.action_number) as cmd ,tb.app_name,ta.status from (select * from oozie.COORD_ACTIONS where status not in ('SUCCEEDED') ) ta inner join ( SELECT * FROM COORD_JOBS where (app_name like '%fact%' or app_name like '%rpt%' or app_name like 'dim_%' or app_name like 'ods%' or app_name like 'dw%') and status = 'RUNNING' ) tb on ta.job_id = tb.id -- where ta.status not in ('WAITING','READY')order by status ,app_name;

3.查指定任务，用于获得job名以及包含多少action

SELECT app_name,concat('oozie job -rerun ',id,' -action ',last_action_number),status as rerun FROM COORD_JOBS where (app_name like '%yezhu%') and status = 'RUNNING'

4.当需要重刷历史数据时，需要rerun多天action时，可用以下方法：

update coord_jobs set concurrency=3 ---并发的数量，应考虑集群难度，不要太高 where id in ( '0402926-161231135848541-oozie-bigd-C' ); commit ;

5.oozie中job不能重复，需要检查是否多启动job时，用以下方法：

SELECT app_name,count(1) cnt FROM COORD_JOBS where status = 'RUNNING' group by app_name having cnt >1 或者 SELECT app_name,count(distinct id) cnt FROM COORD_JOBS where (app_name like '%fact%' or app_name like '%rpt%' or app_name like 'dim_%' or app_name like 'ods%' or app_name like 'dw%' ) and status = 'RUNNING' group by app_name having cnt >1 ;

6.如果想更改某些action的状态，可用以下方法：

update oozie.COORD_ACTIONS set status='SUCCEEDED'where id in ( '0047657-160714171251022-oozie-bigd-C@75'---action名字,'0047657-160714171251022-oozie-bigd-C@73','0047657-160714171251022-oozie-bigd-C@74','0047657-160714171251022-oozie-bigd-C@72');commit ;

如果看过oozie配置文档就会发现，oozie需要配置三个文件：job.PRoperties,coordinator.xml,workflow.xml 此外应该还有一个需要定时执行的文件，假设文件名为test.sql ，这四个文件调试好后，放在本地目录中，需要上传到hadoop文件目录中：假设本地目录是/home/datadev/oozie_jobs/rpt/test（文件夹名字最好和sql文件一致）目录中的文件分别是： job.properties,coordinator.xml,workflow.xml，test.sql 则hadoop上应建一个和本地相同名称的文件夹

在hadoop上创建文件夹 hadoop fs -mkdir oozie/rpt/testgrep 'rpt--' *2.hadoop dfs -put -f * oozie/rpt/test --全部传过去如果重复覆盖3. hadoop fs -put -f job.properties oozie/rpt/test/ --只传job.properties这一个文件4. hadoop fs -ls oozie/rpt/test/ --查看文件夹内容5. hadoop fs -ls oozie/rpt/test/test.sql --查看文件内容

oozie常见命令操作：

1、测试任务 oozie job -config job.properties -dryrun 2、正式提交运行一个任务 oozie job -config job.properties -run 3、杀死一个任务 oozie job -kill job_id 4、杀死一个action oozie job -kill job_id -action action_number 5、重跑一个action oozie job -rerun job_id -action action_number 6、更新coordinator oozie job -update job_id

有时候更新完代码后用update不管用，只能把jobkill 了重新跑。

上一篇：数据库主从复制的原理

下一篇：抢救DB2数据之终极工具：db2dart