各组件命令

2021-11-19 03:31:07 阅读：143 来源： 互联网

标签：-- 9092 kafka 命令 sh 组件 node3 server

【02】Kafka主题的增、删、查

增： bin/kafka-topics.sh --create --topic flink_kafka --partitions 3 --replication-factor 2 --bootstrap-server node1:9092,node2:9092,node3:9092
删： bin/kafka-topics.sh --delete --topic bigdata01 --bootstrap-server node1:9092,node2:9092,node3:9092
查看Topic信息: bin/kafka-topics.sh --describe --topic bigdata01 --bootstrap-server node1:9092,node2:9092,node3:9092
列举Topic: bin/kafka-topics.sh --list -bootstrap-server node1:9092,node2:9092,node3:9092

启动Kafka自带的控制台生产者进程或者消费者进程

生产者：bin/kafka-console-producer.sh --topic flink_kafka --broker-list node1:9092,node2:9092,node3:9092
注意：broker-list与bootstrap-server功能上一致，但语义上不一样，前者把它作为存储目录、后者把它作为读取目录
消费者：bin/kafka-console-consumer.sh --topic flink_kafka --bootstrap-server node1:9092,node2:9092,node3:9092 --from-beginning
(不写--from-beginning默认从最新的offset消费)

========= MySQL ==========
【01】. 导入SQL文件数据
source /opt/insurance.sql
mysql -uroot -p --default-character-set=utf8mb4 insurance </opt/insurance/1_data_mysql/insurance.sql

【02】. 备份MySQL数据库到一个SQL文件：
mysqldump -uroot -p --databases insurance > /opt/insurance/1_data_mysql/insurance.sql

=【 Linux 】==
cat /etc/profile
dos2unix ./sqoop.sh
yum -y install dos2unix
yum -y install lrzsz
cat -v ./sqoop.sh
chmod +x ./sqoop.sh

nc -lk 9999

=【集群启动命令】==

【01】. 启动Hadoop集群服务（HDFS和Yarn）：
/export/server/hadoop/sbin/start-all.sh
【02】. 启动Hive服务(hive metastore 和hiveserver2)：（jdbc:hive2://node3:10000）
nohup hive --service metastore &
nohup hiveserver2 start &
【03】. 启动spark-thrifserver服务（jdbc:hive2://node3:10001）
/export/server/spark/sbin/start-thriftserver.sh
--hiveconf hive.server2.thrift.port=10001
--hiveconf hive.server2.thrift.bind.host=node3
--master local[*]

文件系统：

hdfs://node1:8020/flink-checkpoints/checkpoint
file://

JDBC

套路4步：

1、加载驱动类
- Class.forName("com.mysql.jdbc.Driver")
2、定义变量（3个变量）
- Connection （水管道）
- Statement 【PreparedStatement】（阀门）
- ResultSet （抽水机）
3、查询SQL
4、获取结果
5、关闭连接(关闭3个）)

// 定义变量
Connection conn = null;
Statement stmt = null;
ResultSet rs = null;
//加载MySQL驱动
Class.forName("com.mysql.jdbc.Driver");
// 获得数据库连接
Connection conn = DriverManager.getConnection("jdbc:msql://127.0.0.1:3306/samsung","root","123456");
// 创建Statement\PreparedStatement对象
Statement stmt = conn.createStatement();
ps = conn.prepareStatement(sql);
// 执行查询，获取数据集
ResultSet rs = stmt.executeQuery(sql);
ResultSet rs = ps.executeQuery()
// 关闭连接
rs.cloas

标签：--,9092,kafka,命令,sh,组件,node3,server
来源： https://www.cnblogs.com/zi-shuo/p/15575291.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

各组件命令

启动Kafka自带的控制台生产者进程 或者 消费者进程

文件系统：

JDBC

启动Kafka自带的控制台生产者进程或者消费者进程