Kafka 工作机制

技术标签:?kafka??mechanism

Kafka 是 Apache 的子项目,是一个高性能跨语言的分布式发布/订阅消息队列系统(没有严格实现 JMS 规范的点对点模型,但可以实现其效果),在企业开发中有广泛的应用。高性能是其最大优势,劣势是消息的可靠性(丢失或重复),这个劣势是为了换取高性能,开发者可以以稍降低性能,来换取消息的可靠性。

作者:王克锋
出处:https://kefeng.wang/2017/11/15/kafka-mechanism/
版权:自由转载-非商用-非衍生-保持署名,转载请标明作者和出处。

1 Kafka 的历史

官网: http://kafka.apache.org/
文档: https://kafka.apache.org/documentation/

Kafka 最初由领英(LinkedIn)开发,于2011年初开源,并于2012年10月23日由Apache Incubator孵化出站。
2014年11月,几个曾在领英为Kafka工作的工程师,创建了名为Confluent的新公司,[5],并着眼于Kafka。
Kafka 的命名来自于作家Franz Kafka(弗朗茨·卡夫卡),意为“一个用于优化写作的系统”。

2 Kafka 相关术语

  • 主题的复制因子(replication factor): 表示该主题的每个消息都复制至N个服务器上,当多达N-1个服务器故障时,该消息依旧可以访问;
  • 主题的分区(partition): 一个主题可以拆分存储在多个分区(各分区可以在不同的服务器上);
    每个分区是一个有序不变的消息序列,每个消息都分配唯一性ID(称作 offset),新消息按顺序追加到分区尾部(磁盘的顺序读写比随机读写高效的多);
    分区的作用:突破单个 broker 磁盘容量限制、多分区并行以提高效率;
    消息所在分区的选择:生产者(开发者)选择算法,可以是轮询负载均衡,也可以是根据权重或算法(设置 Producer 的 paritition.class 参数,该class必须实现kafka.producer.Partitioner接口,按消息中的 KEY 计算)选择,理想情况是消息均匀地分布到不同分区中;
    分区日志文件放在日志目录(参数log.dirs)下,文件名形式为 toppicName-partitionId(总长度限制为 255 字符)。
  • 各服务器在分区上的分工: 每个分区的多个副本中,都有一个副本作为 Leader(处理分区的所有读写请求);有多个 Followers(从 Leader 复制消息,以实现容错);一个服务器可以同时作为多个分区的 Leader 或 Followers;生产者将数据直接发送给作为分区 Leader 的 Broker,而无需任何中间路由层。
  • 有序消费的保证: 每个主题的每个消费者都记录有一个消费偏移(消费者可以修改该偏移),表示接下来的读取位置,读取后该偏移会身后偏移;
  • 消息有效期(可配置)机制: 有效期内的消息保留(未消费的消息可以被消费),一旦过期就丢弃(无论是否已被消费),消息存储的信息包括 key/value/timestamp
  • 消息持久化:写入磁盘并进行复制以实现容错,允许生产者等待确认完整写入。可以将Kafka视为专用于高性能,低延迟提交日志存储,复制和传播的专用分布式文件系统。

3 Kafka 的架构



一个典型的 Kafka Cluster(集群)中包含:

  • 若干 Producer(消息生产者): 将 record(记录,相当于消息) Publish(发布,Push方式) 至 Broker,Producer 可以是前端页面、服务器日志、系统CPU、内存等;
  • 若干 Broker(用来存储消息的主服务器): 支持水平扩展(数量越多,集群吞吐越好),消息的存储是按 Topic(主题,消息的分类)+Partition(主题分区) 划分;
    特定的 Topic/Partition 内各消息的 offset(偏移) 与消息的时间戳一起保存,当消息存储至过期时间(服务器中可配置)后,将自动删除以释放空间(无论是否已被消费);
  • 若干 Consumer(消息的消费者): Subscribe(订阅) Topic 并从某个 Partition 中拉取消息(Pull);
    每个主题针对每个消费者都保存了其当前消费位置(offset,该值可人为移动),下次消费时会从该位置拉取,然后 offset 向后移动;
    每个 Consumer 属于一个特定的 Consumer Group(可明确指定,也可不指定默认为 group);
  • 一个 Zookeeper 集群: Broker 端不维护数据的消费状态,而且委托给 ZooKeeper,提升了性能;
    Kafka 的 Producer/Consumer/Broker(Topic+Partition) 通过 ZooKeeper 存储状态信息并协调(在变化时通知相关方);
    还用于选举 Partition Leader 并存储相关信息,Consumer 注册 ZooKeeper的Watch以跟踪 Leader 变化。


此外,Kafka 还可以通过 Connect 连接到外部系统(比如对接DB,用于数据输入/输出),并提供了流式处理库 Streams(比如对接 Storm/HBase/Spark,将输入流转换为输出流)。

4 Kafka 的消息模型


传统消息有两种模型:点对点(queue, 每个消息只被一个消费者消费)、发布/订阅(topic,消息被群发给订阅者)。
Kafka 提供了单一的消费者模型:消费者组(Consumer Group),消费者都有消费者组(不指定时默认为 group),Topic 上的每个消息只会被订阅该主题的各消息组中的一个消费者收取:

  • 点对点模型的效果:所有的消费者都在一个组中,各消费者瓜分消息;只是与传统消息不同,消息被消费后不会被删除,过期后才会删除;
  • 发布/订阅模型的效果:所有的消费者在不同的消费者组中,同一个消息可以被不同组的各个消费者收取,同一分组的各消费者起到了扩展性能的效果。

Kafka 在消息的消费方式上是有区别的:

  • 在 JMS 中,Broker 主动将消息 Push(推送)给 Consumer;
  • 而 Kafka 中,消息是由 Consumer 主动从 Broker 拉取(Pull),即 Consumer 和 Broker建立连接后,根据自己的消费能力(这与 JMS 相比是个优势),主动去pull(fetch)消息。

5 ZooKeeper 中保存的信息

Zookeeper 中保存的 Kafka 数据结构:Kafka data structures in Zookeeper

  • broker Node: /brokers/ids/[N](非持久) 由 broker 启动后注册,停止后删除;
  • Broker Topic/Partitions: /broker/topics/[topic]/partitions/[N](非持久)
  • Consumer/ConsumerId/ConsumerGroup/ConsumerOffset: /consumers(非持久)
  • Partition Owner:

Zookeeper 在 Kafka 中的协调作用:

  • Producer 通过 Zookeeper 发现 Broker 列表,和 Topic 下每个 Partition Leader 建立连接并推送消息;
  • Broker 向 Zookeeper 注册 Broker 信息,监测 Partition Leader 的存活性;
  • Consumer 通过 Zookeeper 发现 Broker 列表,并向 Zookeeper 注册 Consumer 信息(包括 Consumer 的 Partition 列表),并和 Partition Leader 建立连接以拉取消息。

6 Kafka 的监控

监控对象包括 Broker/Producer/Consumer/ZooKeeper 等;
开源的监控平台有领英的Burrow,付费的有Datadog,还可以借助 JConsole 收集信息。

7 Kafka 的应用

Kafka 集群很好地支持 Unix/Linux/Solaris,但 Windows 下欠佳(不要作为生产环境)。
Kafka 的用户中包括 LinkedIn, Yahoo, Twitter, Uber, PayPal, Airbnb, Tumblr, Mozilla, Oracle, IBM, ebay, Yelp, Netflix, 高盛, 纽约时报, 思科系统, 沃尔玛等(更多清单见 这里)。

被用于日志收集,实时分析(Storm),离线分析(Hadoop),消息管道等。应用场景包括:

  • 消息: 将数据的生成和处理分离,缓冲未处理的消息;
  • 网站活动: 实时处理,实时监控,加载到Hadoop或离线数据仓库系统以进行离线处理和报告;
  • 日志聚合: 从服务器收集物理日志文件;
  • 流处理: 原始输入数据从Kafka主题中消耗,然后聚合,丰富或以其他方式转化为新的主题,以供进一步消费或后续处理。

8 Kafka 生态系统

官方文档: https://docs.confluent.io/2.0.0/connect/index.html
连接器(Connectors): https://www.confluent.io/product/connectors/

  • JDBC/MySQL/Oracle/DB2/PostgreSQL, Redis
  • ActiveMQ/RabbitMQ, ElasticSearch, Jenkins
  • HDFS(Hadoop/Hive/Storm/Flume)
  • Github/Twitter, FTP

9 Kafka 依赖环境

安装 JRE 环境,版本要求 1.7+;
Kafka 使用 ZooKeeper,安装详见文章 ZooKeeper 原理与集群部署

原文地址: