ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

使用Apache Bigtop编译打包开源大数据组件——以zk、hadoop、spark、hive为例

2021-07-04 11:33:56  阅读:788  来源: 互联网

标签:bigtop 为例 zk slaves 组件 docker rpm 打包 Bigtop


Apache Bigtop是一个编译、打包、部署开源大数据组件的工具,经过我多方实验,现在将可靠的Apache Bigtop打包大数据组件的过程与方法写在这里。

1. 申请一个虚拟机。我这里用的是阿里云的服务器,centos7.8,建议镜像在印度、硅谷等地区,不建议选国内的

2.登入虚拟机或是服务器,安装docker,用下面的命令安装

curl -fsSL https://get.docker.com | bash -s docker

3.拉取bigtop/slaves的镜像,选取跟自己虚拟机或服务器所契合的版本。具体选择可在下面网址进行:https://hub.docker.com/r/bigtop/slaves/tags?page=1&ordering=last_updated

我选取的是版本是trunk-centos-7

docker pull bigtop/slaves:trunk-centos-7

4. 交互式运行容器 

docker run -it bigtop/slaves:trunk-centos-7 /bin/bash

5. 执行下面的命令

cd ~ && git clone https://github.com/apache/bigtop.git \
    && cd bigtop && ./gradle zookeeper-rpm hadoop-rpm spark-rpm hive-rpm

然后就可以忙其他事情了,因为这个打包过程会十分漫长,一般需要两三个小时。等你喝杯茶,吃完饭过来,看到打包完毕,我们可以查看一下打包的效果

其他组件也看看,打包都完毕之后,就可以把这个docker 容器提交为一个新镜像 ,方便下次使用

记住这个id,然后退出这个容器

exit

根据这个容器id,进行commit,名字、版本请自己定义,我这里定义的是bigtop:v1

docker commit -m 'bigtop编译大数据组件' 6d06fcc4a634 bigtop:v1

最后,命令运行完毕之后,我们来确认一下,有没有新的镜像有没有形成

至此,bigtop打包大数据组件的工作已经完成了

标签:bigtop,为例,zk,slaves,组件,docker,rpm,打包,Bigtop
来源: https://blog.csdn.net/runningandrunning/article/details/69033572

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有