|NO.Z.00076|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V02|---------------------------------------|实时数仓.v02

2022-04-16 14:34:37 阅读：163 来源： 互联网

标签：数仓启动 hadoop02 Hadoop 实时 kafka --- root ###

一、启动集群环境相关服务

### --- 启动zookeeper/kafka服务

~~~     # 启动zookeeper服务
[root@hadoop01 ~]# ./zk.sh start
~~~     # 启动kafka服务：所有节点
[root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yanqi/servers/kafka_2.12/config/server.properties

### --- 启动dfs/yarn服务

~~~     # 启动hdfs服务
[root@hadoop01 ~]# start-dfs.sh
~~~     # 启动yarn服务:可以不启动
[root@hadoop03 ~]# start-yarn.sh

### --- 启动canal服务

~~~     # 启动canal服务
[root@hadoop02 ~]# sh /opt/yanqi/servers/canal/bin/startup.sh

### --- 启动hbash服务

~~~     # 启动hbash服务
[root@hadoop02 ~]# start-hbase.sh

### --- 启动mysql服务

~~~     # 启动mysql服务
[root@hadoop03 ~]# systemctl start mysqld

### --- 启动redis服务

~~~     # 启动redis服务
[root@hadoop03 ~]# /opt/yanqi/servers/redis/bin/redis-server /opt/yanqi/servers/redis/bin/redis.conf

二、启动监控相关服务

### --- 启动prometheus服务

~~~     # 启动prometheus服务
~~~     # web-UI：http://hadoop02:9090/targets
[root@hadoop02 ~]# systemctl start prometheus

### --- 启动node_exporter服务：所有节点

~~~     # 启动node_exporter服务：所有节点
[root@hadoop02 ~]# systemctl start node_exporter.service

### --- 启动Pushgateway服务

~~~     # 启动Pushgateway服务
~~~     # web-UI：http://hadoop02:9091/#
[root@hadoop02 ~]# systemctl start pushgateway.service

### --- 启动grafana服务

~~~     # 启动grafana服务
~~~     # web-UI：http://hadoop02:3000
[root@hadoop02 ~]# systemctl status grafana-server

三、在hbash下创建相关表

### --- 在hbash中创建表：

~~~     # 在hbash中创建数据表
[root@hadoop02 ~]# /opt/yanqi/servers/hbase-1.3.1/bin/hbase shell
 ~~~在hbash中创建表：
hbase(main):001:0> create 'dim_yanqi_area', 'f1'
hbase(main):002:0> create 'yanqi_area', 'f1'
hbase(main):003:0> create 'yanqi_trade_orders', 'f1'
~~~辅助表：
hbase(main):004:0> create 'yanqi_trade_order', 'f1'
hbase(main):005:0> create 'dwd_yanqi_area', 'f1'

### --- 查看表中是否有数据

~~~     # 查看orders表中的数据
hbase(main):007:0> scan 'yanqi_trade_orders'
ROW                                           COLUMN+CELL
~~~当前没有数据

四、启动kafka生产者和消费者

### --- 启动kafka生产者

~~~     # 启动kafka生产者
[root@hadoop02 ~]# kafka-console-producer.sh --broker-list hadoop02:9092 --topic canal

### --- 启动kafka消费者

~~~     # 启动kafka消费者
[root@hadoop02 ~]# kafka-console-consumer.sh --zookeeper hadoop02:2181/myKafka --topic canal --from-beginning
~~~等待消费数据

===============================END===============================

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor

来自为知笔记(Wiz)

标签：数仓,启动,hadoop02,Hadoop,实时,kafka,---,root,###
来源： https://www.cnblogs.com/yanqivip/p/16152711.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

|NO.Z.00076|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V02|---------------------------------------|实时数仓.v02