Kafka 知识库

这里记录 Kafka 消息队列的安装部署、集群架构、生产消费、性能优化和故障排查经验。

一、Kafka 基础

• Kafka 架构
• Broker 与 Topic
• Partition 分区
• Replica 副本机制
• Producer 生产者
• Consumer 消费者
• Consumer Group 消费者组

二、Kafka 集群部署

• Kafka 安装
• Kafka 配置文件
• Broker ID 配置
• Zookeeper 集群部署
• Kafka 集群启动与停止
• 集群状态检查

三、消息机制

• 消息发送与接收
• 消息偏移量 Offset
• 消费者位移管理
• 消息顺序性
• 消息可靠性
• 消息重复与幂等性

四、运维管理

• Topic 创建与删除
• Partition 管理
• 消费者组管理
• 消息积压排查
• 日志目录管理
• 集群监控

五、故障排查

• Broker 启动失败
• NodeExists 异常
• 消费者无法消费
• 消息积压
• 副本同步异常
• Kafka 连接 Zookeeper 失败