链接：https://pan.baidu.com/s/1dFiGtWODstoCKSpn55Pz3g 

提取码：dk23

1、Kafka简介

Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等)

Kafka最核心的最成熟的还是他的消息引擎，所以Kafka大部分应用场景还是用来作为消息队列削峰平谷。另外，Kafka也是目前性能最好的消息中间件。

2、Kafka架构

 

在Kafka集群(Cluster)中，一个Kafka节点就是一个Broker，消息由Topic来承载，可以存储在1个或多个Partition中。发布消息的应用为Producer、消费消息的应用为Consumer，多个Consumer可以促成Consumer Group共同消费一个Topic中的消息。

概念/对象 简单说明

Broker Kafka节点

Topic 主题，用来承载消息

Partition 分区，用于主题分片存储

Producer 生产者，向主题发布消息的应用

Consumer 消费者，从主题订阅消息的应用

Consumer Group 消费者组，由多个消费者组成

3、准备工作

Kafka服务器

准备3台CentOS服务器，并配置好静态IP、主机名

Kakfa集群需要依赖ZooKeeper存储Broker、Topic等信息，这里我们部署三台ZK

192.168.218.101 Kafka节点1  zk

192.168.218.102 Kafka节点2  zk

192.168.218.103 Kafka节点3  zk

 

安装部署好kafka之后，查看kafka_2.11-1.1.0/config/server.properties，配置以下内容

 

设置broker.id这里是用于投票选举，每个节点的数字不一样

 

设置kafka日志存放目录

 

设置监听端口

 

以上设置除了broker.id 监听端口ip需要修改，其余不用修改。

附：kafka常用配置

 

4 启动kafka

/bin/kafka-server-start.sh config/server.properties &

在k8s集群中启动kafka的pod,启动三台，broker-0/broker-1/broker-2

1、kafka服务启动：./kafka-server-start.sh   ../config/server.properties

-daemon表示静默方式启动

 

2、查看有哪些主题： ./kafka-topics.sh --list –zookeeper chen-1:2181,chen-2:2181,chen-3:2181

3、创建topic：./kafka-topics.sh --create --zookeeper chen-1:2181,chen-2:2181,chen-3:2181 --replication-factor 1 --partitions 1 --topic chen

 

4、查看topic的详细信息：./kafka-topics.sh –zookeeper chen-1:2181,chen-2:2181,chen-3:2181  -describe -topic chen

 

5、kafka生产者客户端命令：./kafka-console-producer.sh --broker-list chen-1:9092 --topic chen 生产者端可以产生数据供消费者消费

 

 

6、kafka消费者客户端命令：./kafka-console-consumer.sh  --bootstrap-server chen-2:9092 

--topic chen

 

./kafka-console-consumer.sh  --bootstrap-server chen-3:9092 --from-beginning --topic chen

--from-beginning参数可以从头开始消费数据

 

 

此时进入zookeeper客户端，可看到在zk中已经存储了和kafka相关的数据

 

 

__consumer_offsets表示记录消费的偏移量

 

 

7、删除topic：./kafka-topics.sh --zookeeper zk服务IP:2181 --delete --topic WordCount（注：不能真正删除topic只是把这个topic标记为删除（marked for deletion），要彻底把topic删除必须把kafka中与当前topic相关的数据目录和zookeeper中与当前topic相关的路径一并删除。）

 

5 消费者组（Consumer Group）

  消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic，每个消费者组都可以拿到相同的全部数据。

设置consumer.properties文件