失效链接处理 |
Apache Kafka 企业级消息队列 PDF 下载
相关截图:
![]()
主要内容:
2.1 简介 1) Apache Kafka 是一个消息队列(生产者消费者模式)
2) Apache Kafka 目标:构建企业中统一的、高通量的、低延时的消息平
台。
3) 大多的是消息队列(消息中间件)都是基于 JMS 标准实现的,Apache
Kafka 类似于 JMS 的实现。
activeMQ
2.2 作用 1) 作为缓冲,来异构、解耦系统。
用户注册需要完成多个步骤,每个步骤执行都需要很长时间。代表用户等待时
间是所有步骤的累计时间。
为了减少用户等待的时间,使用并行执行执行,有多少个步骤,就开启多少个
线程来执行。代表用户等待时间是所有步骤中耗时最长的那个步骤时间。
有了新得问题:开启多线程执行每个步骤,如果以一个步骤执行异常,或者严
重超时,用户等待的时间就不可控了。
通过消息队列来保证。
o 注册时,立即返回成功。
o 发送注册成功的消息到消息平台。
o 对注册信息感兴趣的程序,可以消息消息。
3.Apache Kafka 的基本架构
Kafka Cluster:由多个服务器组成。每个服务器单独的名字 broker(掮客)。
Kafka Producer:生产者、负责生产数据。
Kafka consumer:消费者、负责消费数据。
Kafka Topic: 主题,一类消息的名称。存储数据时将一类数据存放在某个
topic 下,消费数据也是消费一类数据。
订单系统:创建一个 topic,叫做 order。
用户系统:创建一个 topic,叫做 user。
商品系统:创建一个 topic,叫做 product。
注意:Kafka 的元数据都是存放在 zookeeper 中。
4.搭建 Kafka 集群
4.1.准备 3 台虚拟机
192.168.72.141 node01 zk01 kafka01
192.168.72.142 node02 zk02 kafka02
192.168.72.143 node03 zk03 kafka03
4.2.初始化环境 1)安装 jdk、安装 zookeeper
2)安装目录
安装包存放的目录:/export/software
安装程序存放的目录:/export/servers
数据目录:/export/data
日志目录:/export/logs
mkdir -p /export/servers/
mkdir -p /export/software/
mkdir -p /export/data/
mkdir -p /export/logs/
3)安装用户
安装 hadoop,会创建一个 hadoop 用户
安装 kafka,创建一个 kafka 用户
或者 创建 bigdata 用户,用来安装所有的大数据软件。
本例:使用 root 用户
4)验证环境
a) jdk 环境
b) zookeeper 环境
4.3.搭建 Kafka 集群
4.3.1.准备安装包
由于 kafka 是 scala 语言编写的,基于 scala 的多个版本,kafka 发布了多个版
本。
其中 2.11 是推荐版本。
4.3.2.下载安装包及解压 #如果是重新安装时执行下面清除动作,否则不需要
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf
|