折腾了好久好久好久的oozie,
现在暂时算是能够用起来了。
主要讲两点吧:
一,部署相关
二,运行相关
-----------------------------
一,部署相关
oozie用的版本是oozie-3.1.3-incubating,不知道为什么,从3.0起,oozie不支持sqoopAction和HiveAction了。
为了能够执行这两种Action,对他的jar包进行了些修改。
1,编译HiveAction和SqoopAction相关的类。
一共有四个类:HiveAction.java, HiveMain.java, SqoopAction.java, SqoopMain.java
这四个类是我从cloudera版本oozie-2.3.2-cdh3u2里面拉出来的。
编译方法,没啥特别,就是用oozie3.1.3建立项目,添加这四个类,然后编译,找到这四个类的class文件,然后把这四个类的class文件放到oozie-core-3.1.3.jar对应的路径下。
2,添加相应的xsd文件。
在cloudera的oozie-2.3.2-cdh3u2\src\client\src\main\resources下,
找到hive-action-0.2.xsd和sqoop-action-0.2.xsd,把这两个东西,添加到oozie-client-3.1.3-incubating.jar里面。
3,重新setup oozie。
把修改后的jar包替换原来的jar包,然后重新setup oozie,根据前一篇http://taoo.iteye.com/blog/1518580日志,setup之后,要在lib里面添加相应的jar包。
4,重启oozie。
二,运行相关
1,sharelib的配置
在任何action执行时,会对这个sharelib进行依赖,这个sharelib要放到hdfs上。
oozie提供一个sharelib:oozie-sharelib-3.1.3-incubating.tar.gz。解压即可。
然后,根据hive、pig和sqoop的版本添加相关的jar包。除了这三个工具的jar包外,hive的lib里的jar包还需要添加进去,注意,一定是hive的lib中的jar为版本基准,如果sharelib里面已经有了这个jar包,但是与hive lib中的对应jar包版本不同,一定,一定,一定以hive中lib的版本为准。
对了,相关的jdbc包也要添加进sharelib哦。
2,指定相关配置文件。
特别是hive在运行时,一定要指定hive的配置文件,要不然hive client不知道去哪找metastore呢。
指定方法是,在configuration里面添加:
<property>
<name>oozie.hive.defaults</name>
<value>my-hive-default.xml</value>
</property>
其中这个my-hive-default.xml文件就是hive-site.xml,需要放到hdfs上对应的workflow路径下。
其实hive相关的action,比如sqoop的,可能也需要配置这个东西。
-----------------
暂时就这么多把。
分享到:
相关推荐
oozie配置文件
oozie安装文件:Oozie的安装与配置及自带example演示。1111
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。
OOZIE 配置和调度流程(1).doc
配置oozie工作流 10 Workflow.xml中控制流程节点说明 10 action节点 10 start节点 11 end节点 11 Kill节点 12 decision节点 12 fork节点和join节点 12 工作流配置实例(oracle-hdfs-oacle) 13 Oozie任务定时调度 15 ...
oozie在hadoop中配置代理,内有相关链接及实际配置信息
3.Oozie的与MR的关系 4.Oozie的工作流实现原理 5.Oozie中的特殊概念Action 6.Hadoop的集成配置 7.Oozie的部署配置 第三章:Oozie调度开发实战 1.Shell脚本工作流调度开发实战 2.Hive Job工作流调度开发...
Hadoop oozie报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist 。 oozie建表sql,直接下载执行
oozie 入门 oozie概述:oozie能干什么 oozie格式:怎么用oozie oozie执行:怎么运行oozie
oozie调用hive介绍,在华为大数据平台下通过oozie调用hive,并解决认证问题
oozie 提交任务参数传递到下一个任务节点 oozie 提交任务参数传递到下一个任务节点
oozie-core
CDH安装oozie后不能看console,必须把ext依赖放入oozie的libex
提供一个oozie job shell action 列子,例子中 配置文件有 job.properties,workflow.xml,lineCount.sh 项目开发时候,发现shell action 不好配 ,最后网上参照一个列子,配置,可以运行成功
oozie-3.0.0-distro.tar.gz
extjs2.2 oozie可以使用的 oozie需要使用extjs2.2
hadoop oozie启动或运行报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist
oozie mysql数据库表结构。文档里是oozie mysql的建表语句
oozie介绍及使用详解
大数据Oozie架构原理.pdf