Kafka-Kraft 架构
左图为 Kafka 现有架构,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理。右图为 kraft 模式架构(实验性),不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理。
这样做的好处有以下几个:
- Kafka 不再依赖外部框架,而是能够独立运行;
- controller 管理集群时,不再需要从 zookeeper 中先读取数据,集群性能上升;
- 由于不依赖 zookeeper,集群扩展时不再受到 zookeeper 读写能力限制;
- controller 不再动态选举,而是由配置文件规定。这样我们可以有针对性的加强controller 节点的配置,而不是像以前一样对随机 controller 节点的高负载束手无策。
Kafka-Kraft 集群部署
再次解压一份 kafka 安装包
cd /opt/software
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
重命名为 kafka-kraft
cd /opt/module
mv kafka_2.12-3.0.0/ kafka-kraft
在 hadoop100 上修改/opt/module/kafka-kraft /config/kraft/server.properties 配置文件
vim /opt/module/kafka-kraft/config/kraft/server.properties
# 完整内容如下
#kafka 的角色(controller 相当于主机、broker 节点相当于从机,主机类似 zk 功 能)
process.roles=broker, controller
#节点 ID
node.id=0
#controller 服务协议别名
controller.listener.names=CONTROLLER
#全 Controller 列表
controller.quorum.voters=0@hadoop100:9093,1@hadoop101:9093,2@hadoop102:9093
#不同服务器绑定的端口
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
#broker 服务协议别名
inter.broker.listener.name=PLAINTEXT
#broker 对外暴露的地址
advertised.Listeners=PLAINTEXT://hadoop100:9092
#协议别名到安全协议的映射
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
#kafka 数据存储目录
log.dirs=/opt/module/kafka-kraft/datas
分发 kafka-kraft
xsync /opt/module/kafka-kraft
- 在 hadoop101 和 hadoop102 上 需要修改server.properties 对 node.id 相应改变 ,值需要和controller.quorum.voters 对应(hadoop101为1,hadoop102为2)
- 在 hadoop101 和 hadoop102 上需要 根据各自的主机名称,修改相应的advertised.Listeners 地址。
初始化集群数据目录
cd /opt/module/kafka-kraft/bin
# 首先生成存储目录唯一 ID。
kafka-storage.sh random-uuid
# 执行正常显示
J7s9e8PPTKOO47PxzI39VA
# 在三个节点上分别用该 ID 格式化 kafka 存储目录
cd /opt/module/kafka-kraft/bin
kafka-storage.sh format -t J7s9e8PPTKOO47PxzI39VA -c /opt/module/kafka-kraft/config/kraft/server.properties
启动 kafka 集群
# 在三个节点上启动集群
cd /opt/module/kafka-kraft/bin
kafka-server-start.sh -daemon /opt/module/kafka-kraft/config/kraft/server.properties
停止 kafka 集群
cd /opt/module/kafka-kraft/bin
kafka-server-stop.sh
评论区