ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Alluxio集群部署整合CDH(Hive/Spark)

2020-05-28 10:54:09  阅读:755  来源: 互联网

标签:bin properties java CDH Hive Alluxio usr Spark alluxio


Linux环境:centos7.4
CDH:5.16.1
Java:1.8.0_131
Alluxio:2.3.0

编译

此处不再赘述,详见我另一篇文章 https://www.cnblogs.com/daemonyue/p/12975286.html

修改配置文件

cp conf/alluxio-site.properties.template conf/alluxio-site.properties
vim alluxio-site.properties

vim masters

vim workers

集群

复制文件夹到每台机器
各个机器alluxio用户相互之间免密登陆

软连接配置

为每个机器设置java软连接,需要在这些目录其中之一配置软连接

/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/spark/bin:/opt/spark/sbin:/root/bin

如果配置好了可以忽略,否则:

ln -s /usr/java/jdk1.8.0_131/bin/java /usr/bin/java

如果这里没有配置好的话,后面步骤就会出现如下错误

Error: Cannot find 'java' on path or under $JAVA_HOME/bin.

启动 Alluxio

创建ramdisk文件夹

之前配置的文件夹路径,需要先手动创建出来

format

./bin/alluxio format

启动

./bin/alluxio-start.sh all Mount

如果是root用户起的,使用Mount,如果是非root用户起的,用SudoMount。第一次需要这样,之后启动直接./bin/alluxio-start.sh all就可以

经过比较长时间的等待,启动完成

查看web端

http://ip:19999

使用Alluxio

这里可以把它理解为简单的文件系统,操作这个文件系统和hdfs非常相似

./bin/alluxio fs 操作命令

比如:

./bin/alluxio fs mkdir /test

标签:bin,properties,java,CDH,Hive,Alluxio,usr,Spark,alluxio
来源: https://www.cnblogs.com/daemonyue/p/12979054.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有