大数据常见组件zookeeper Kafka flume组件的常用操作命令

2022-09-15 21:32:17 阅读：290 来源： 互联网

标签：flume bin znode 操作命令 -- kafka 组件 hadoop102 节点

本文主要汇总了大数据常用组件zookeeper、kafka、flume的常用命令行操作

Zookeeper常用命令操作

命令行语法

1）启动客户端

[atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh -server hadoop102:2181

2）显示所有操作命令

[zk: hadoop102:2181(CONNECTED) 1] help

查看节点信息

1）查看当前znode节点中所包含的信息

[zk: hadoop102:2181(CONNECTED) 0] ls / [zookeeper]

2）查看当前节点的详细信息

[zk: hadoop102:2181(CONNECTED) 5] ls -s / [zookeeper]cZxid = 0x0  
ctime = Thu Jan 01 08:00:00 CST 1970 mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970 pZxid = 0x0  
cversion = -1  
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

(1)czxid:创建节点的事务 zxid每次修改ZooKeeper状态都会产生一个ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每次修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在 zxid2 之前发生。
(2)ctime:znode 被创建的毫秒数(从 1970 年开始)
(3)mzxid:znode 最后更新的事务 zxid
(4)mtime:znode 最后修改的毫秒数(从 1970 年开始)
(5)pZxid:znode 最后更新的子节点 zxid
(6)cversion:znode 子节点变化号，znode 子节点修改次数
(7)dataversion:znode 数据变化号
(8)aclVersion:znode 访问控制列表的变化号
(9)ephemeralOwner:如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节点则是 0。
(10)dataLength:znode 的数据长度
(11)numChildren:znode 子节点数量

创建节点

节点主要分为四类，永久不带序号，永久带序号，临时不带序号，临时带序号节点；
永久表示客户端与zookeeper断开连接之后，该节点依旧存在；
临时表示客户端与zookeeper断开连接之后，该节点将会删除；

1）创建1个普通节点（永久+不带序号节点）

create /sanguo "diaochan"

注意：创建节点要赋值

2）获取节点值

get -s /sanguo

3）创建带序号节点（永久+带序号节点）

create -s /sanguo/weiguo "caocao"

4）创建短暂不带序号节点（短暂+不带序号节点）

create -e /sanguo/wuguo "zhouyu"

5）创建短暂带序号节点（短暂+带序号节点）

create -e -s /sanguo/wuguo "zhouyu"

6）修改节点值

set /sanguo/weiguo "simayi"

Kafka常用命令操作

主题命令操作

均在组件根目录下面的操作
1）查看命令

bin/kafka-topics.sh

2）查看服务器所有topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

3）创建first topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

4）查看first主题详情

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

5）修改分区

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

6）删除主题

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

生产者命令行操作

1）查看操作生产者命令参数

bin/kafka-console-producer.sh

2）发送消息

bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first

消费者命令行操作

1）查看消费者操作命令

bin/kafka-console-consumer.sh

2）消费信息
（1）消费first主题中的数据

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

（2）把主题中的所有数据都读取出来（包括历史数据）

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first

flume常用命令

1）启动命令

/bin/flume-ng agent --name a1 --conf-file conf/file-flume-kafka.conf &

2）隐藏输出控制台信息

nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/conf/kafka-flume-hdfs.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/opt/module/flume/log2.txt   2>&1 &

标签：flume,bin,znode,操作命令,--,kafka,组件,hadoop102,节点
来源： https://www.cnblogs.com/shuds/p/16698010.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9