一、将hive的表数据用sqoop抽取到mysql1、编写oozie workflow和Coordinator## [root@hadoop-senior oozie-apps]# pwd /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/oozie-apps [root@hadoop-senior oozie-apps]# ls wf-user-select/ coordinator.xml hive-site.xml job.properties li
一、时区问题1、修改系统时区## [root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# rm -rf /etc/localtime [root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime ##修改系统时间2、oozie时区oozie默认使用UTC(GMT)时区，而服务器
Oozie执行hive，传入参数1. 新建一个workflow 2. 拖入一个hive2 3. hive脚本如下 CREATE TABLE IF NOT EXISTS spider_tmp.org_invest_fund_${date} (`id` int, `info_id` int, `company` string, `company_url` string, `legal_person` string, `reg_capital` string, `est
Oozie执行Sqoop，传入参数（注意，在使用--query时，参数中一定不要带有空格，否则出错）1. 新建一个workflow 2. 拖入一个sqoop 3. sqoop抽取命令如下（建议先在命令行试下，因为oozie的错误提示很委婉，基本看不出错误原因） sqoop import --connect jdbc:mysql://localhost:3306/spider_new
HUE=Hadoop User Experience(Hadoop用户体验)，直白来说就一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互
