ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

亚马逊aws emr hadoop集群 调度工具azkaban安装

2021-06-27 20:02:48  阅读:423  来源: 互联网

标签:web executor jetty lib emr aws hadoop azkaban mysql


  • 解压后重命名
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • keytool -keystore keystore -alias jetty -genkey -keyalg RSA在 azkaban目录下生成keystore文件,然后mv到/lib/azkaban/azkaban-web
    在这里插入图片描述

-

  • /lib/azkaban/azkaban-web/conf/azkaban.properties
#Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/lib/azkaban/azkaban-web/web
default.timezone.id=Asia/Shanghai

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/lib/azkaban/azkaban-web/conf/azkaban-users.xml
#Loader for projects
executor.global.properties=/lib/azkaban/azkaban-executor/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=xxx
mysql.database=azkaban
mysql.user=hadoop
mysql.password=123456
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=/lib/azkaban/azkaban-web/keystore
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=/lib/azkaban/azkaban-web/keystore
jetty.trustpassword=123456

# Azkaban Executor settings
executor.port=12321

# mail settings
mail.sender=xxx@163.com
mail.host=smtp.163.com
mail.user=xxx@163.com
#授权码
mail.password=xxx
job.failure.email=xxx@163.com
job.success.email=xxx@163.com

lockdown.create.projects=false

cache.directory=cache
    • /lib/azkaban/azkaban-web/conf/azkaban-users.xml
<azkaban-users>
	<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
	<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics"/>	
	<role name="admin" permissions="ADMIN" />
	<role name="metrics" permissions="METRICS"/>
</azkaban-users>

  • lib/azkaban/azkaban-executor/conf/azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=/lib/azkaban/azkaban-executor/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=xxx
mysql.database=azkaban
mysql.user=hadoop
mysql.password=123456
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30


  • web https://xxxxx:8443/ u:admin p:admin
    在这里插入图片描述
    在这里插入图片描述
  • sqoop list-databases --connect jdbc:mysql://xxxx:3306 --username xx--password xxx
    在这里插入图片描述
  • 在 有mysql的机器上 sudo mysql 进入cli
    在这里插入图片描述
    select host,user,password,select_priv,insert_priv,drop_priv from mysql.user;
  • 添加远程账号hadoop
  • grant all privileges on . to hadoop@’%’ identified by ‘password’;
    在这里插入图片描述
  • source /home/hadoop/azkaban-cli/create-all-sql-2.5.0.sql;在mysql中建azkaban需要用到的表

标签:web,executor,jetty,lib,emr,aws,hadoop,azkaban,mysql
来源: https://blog.csdn.net/JavaBigData/article/details/118278577

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有