ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

大数据常用软件安装指南

2022-09-13 15:01:13  阅读:311  来源: 互联网

标签:指南 Zookeeper 环境 Hadoop 集群 版本 常用软件 安装 搭建


大数据常用软件安装指南

为方便大家查阅,本仓库所有软件的安装方式单独整理如下:

一、基础软件安装

  1. Linux 环境下 JDK 安装
  2. Linux 环境下 Python 安装
  3. 虚拟机静态 IP 及多 IP 配置

二、Hadoop

  1. Hadoop 单机环境搭建
  2. Hadoop 集群环境搭建
  3. 基于 Zookeeper 搭建 Hadoop 高可用集群

三、Spark

  1. Spark 开发环境搭建
  2. 基于 Zookeeper 搭建 Spark 高可用集群
  1. Flink Standalone 集群部署

五、Storm

  1. Storm 单机环境搭建
  2. Storm 集群环境搭建

六、HBase

  1. HBase 单机环境搭建
  2. HBase 集群环境搭建

七、Flume

  1. Linux 环境下 Flume 的安装部署

八、Azkaban

  1. Azkaban3.x 编译及部署

九、Hive

  1. Linux 环境下 Hive 的安装部署

十、Zookeeper

  1. Zookeeper 单机环境和集群环境搭建

十一、Kafka

  1. 基于 Zookeeper 搭建 Kafka 高可用集群

版本说明

由于 Apache Hadoop 原有安装包之间兼容性比较差,所以如无特殊需求,本仓库一律选择 CDH (Cloudera's Distribution, including Apache Hadoop) 版本的安装包。它基于稳定版本的 Apache Hadoop 构建,并做了兼容性测试,是目前生产环境中使用最为广泛的版本。

最新的 CDH 5 的下载地址为:http://archive.cloudera.com/cdh5/cdh/5/ 。这个页面很大且加载速度比较慢,需要耐心等待页面加载完成。上半部分是文档链接,后半部分才是安装包。同一个 CDH 版本的不同框架间都做了集成测试,可以保证没有任何 JAR 包冲突。安装包包名通常如下所示,这里 CDH 版本都是 5.15.2 ,前面是各个软件自己的版本 ,未避免出现不必要的 JAR 包冲突,请务必保持 CDH 的版本一致

hadoop-2.6.0-cdh5.15.2.tar.gz 
hbase-1.2.0-cdh5.15.2
hive-1.1.0-cdh5.15.2.tar.gz

标签:指南,Zookeeper,环境,Hadoop,集群,版本,常用软件,安装,搭建
来源: https://www.cnblogs.com/cw2blog/p/16689104.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有