标签：Storm 框架 配置 bigdata 实时 1.2 storm apache

 
参考视频教程:  
 **基于Storm构建实时热力分布项目实战  **

教程目录

• 0x00 教程内容
• 0x01 下载Storm
  *
  *
  *
  *
  • 1. 下载Storm
    • 2. 上传安装包到节点
• 0x02 安装与配置Storm
  *
  *
  *
  *
  • 1. 解压Storm
    • 2. 配置Storm
• 0x03 启动并校验Storm
  *
  *
  *
  *
  • 1. 启动Storm
    • 2. 校验Storm
• 0xFF 总结

0x00 教程内容

1. 下载Storm
2. 安装与配置Storm
3. 启动并校验Storm

前提：
先安装好Zookeeper，请查看教程：
D003 复制粘贴玩大数据之安装与配置Zookeeper集群
0x01 下载Storm

1. 下载Storm

a. 为了统一，此处下载apache-storm-1.2.2.tar.gz版本：
http://storm.apache.org/downloads.html

2. 上传安装包到节点

a. 上传到master的/home/hadoop-sny/software上，没有目录则创建：
mkdir ~/software
0x02 安装与配置Storm

1. 解压Storm

a. 解压Storm
tar -zxvf apache-storm-1.2.2.tar.gz -C ~/bigdata/

2. 配置Storm

a. 新建Storm数据文件夹，在每台机器上创建文件目录：
mkdir /home/hadoop-sny/bigdata/storm-data
b. 修改Storm配置
cd ~/bigdata/apache-storm-1.2.2/conf
vi storm.yaml
配置一：配置ZK存储Storm的状态信息（协调Storm的每一个组件）
登录后复制

storm.zookeeper.servers:
    - "master"
    - "slave1"
    - "slave2"

配置二：配置Nimbus和Supervisor在本地磁盘上存储小量的数据（如jars，配置等）
storm.local.dir: "/home/hadoop-sny/bigdata/storm-data"

配置三：配置Nimbus所在的机器名
nimbus.seeds: ["master"]

配置四：配置每个Supervisor节点最多可以启动多少个workers，（一个worker对应一个端口用于接收数据）默认是4个
登录后复制

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

如图所示：

c. 同步到安装包到slave1和slave2
scp -r /home/hadoop-sny/bigdata/apache-storm-1.2.2 hadoop-sny@slave1:~/bigdata/
scp -r /home/hadoop-sny/bigdata/apache-storm-1.2.2 hadoop-sny@slave2:~/bigdata/
0x03 启动并校验Storm

1. 启动Storm

前提：
先启动Zookeeper（三个节点都要启动）：
zkServer.sh start

a. 在master上启动Nimbus和Web UI
cd ~/bigdata/apache-storm-1.2.2
nohup bin/storm nimbus 2>&1 &
然后回车，切换终端2，执行：
nohup bin/storm ui 2>&1 &
然后回车
b. 在slave1和slave2上启动Supervisor
cd ~/bigdata/apache-storm-1.2.2
nohup bin/storm supervisor 2>&1 &

2. 校验Storm

a. 查看各节点进程

b. Web UI端口查看
打开端口：http://master:8080，看到下面的界面表示成功：

0xFF 总结

1. Flume、Kafka、Storm的综合小案例，请留意后期教程
2. 后期教程还会加上Kafka、Storm、Kafka的piplines的实现教程

标签：Storm,框架,配置,bigdata,实时,1.2,storm,apache
来源： https://blog.csdn.net/u013328649/article/details/120581340

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。