失效链接处理 |
kafka命令操作 PDF 下载
本站整理下载:
提取码:lh2u
相关截图:
主要内容:
在用kafka命令操作之前必须进入kafka的目录下
cd /soft/kafka //这里我的kafka在soft下
1.开启kafka
bin/kafka-server-start.sh config/server.properties
2.关闭kafka
bin/kafka-server-stop.sh stop
我们开启kafka之后,此时的窗口不用退出(如下图),这是一个阻塞进程。开启kafka集群后,如果我们需要进行命令操作,再开窗口打开三台虚拟机就可以。
如图:这就是kafka启动了,之后光标停止在下一行不动,为阻塞进程
再开窗口打开三台虚拟机有两个好处:①就是在另打开的窗口运行命令操作可以在先前窗口(阻塞进程的那个窗口)看kafka执行日志,能看出错误等②关的时候方便,直接关闭阻塞进程的那几个窗口就会将kafka关闭了。
3.. 创建topic
bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 2 --partitions 2 --topic first
参数解释:
-topic :定义topic名
--partitions 2 :定义分区有2个
-replication-factor 2:定义副本数有2个
这里创建topic是要写在zookeeper里,所以端口是2181
4..查看topic是否创建成功,看kafka集群有几个topic
bin/kafka-topics.sh --zookeeper master:2181 --list
创建完topic后在logs(日志文件)内有显示topic的分区,分区是以文件夹形式存在
5. hdfs有3个集群,副本数可以设置为10,意思是如果集群增加最大副本数不能超过10个
kafka有3个集群,副本数设置超过集群数就会报错。
bin/kafka-topics.sh --create --zookeeper master:2181 --partitions 2 --replication-factor 4 --topic second
kafka副本数就是实际的副本数,而不是像hdfs副本数是最大副本数
6.发送消息
bin/kafka-console-producer.sh --broker-list master:9092 --topic first
回车然后光标会另起一行,有的版本会出现“>”,在“>”后面输入你想输的数据
有的版本没有“>”,直接输入数据即可
7.消费消息
(1)bin/kafka-console-consumer.sh --zookeeper master:2181 --topic first
这条命令是消费最新的数据,就是说没启动消费消息之前发送的消息不会接收到
(2)加上--from-beginning参数,就是从没启动消费消息之前,发送的消息也在启动消费消息之后接收到
bin/kafka-console-consumer.sh --zookeeper master:2181 --from-beginning --topic first
|