Kafka 分区

设置 topic 下的分区数

在 config/server.properties 配置文件中，可以设置一个全局的分区数量，这个分区数量的含义是: 每个主题下的分区数量 , 默认为 1

也可以在创建主题的时候，使用 --partitions 参数指定分区数量

bash

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my_topic --partitions 2 --replication-factor 1

3. 查看已创建主题的分区数量:

bash

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my_topic

生产者与分区

org.apache.kafka.clients.producer.internals.DefaultPartitioner

默认的分区策略是：

如果在发消息的时候指定了分区，则消息投递到指定的分区
如果没有指定分区，但是消息的 key 不为空，则基于 key 的哈希值来选择一个分区
如果既没有指定分区，且消息的 key 也是空，则用轮询的方式选择一个分区

消费者与分区

首先需要了解的是:

消费者是以组的名义订阅主题消息，消费者组里边包含多个消费者实例.
主题下边包含多个分区

消费者实例与主题下分区的分配关系

kafka 集群上有两个节点，4 个分区

A 组有 2 个消费者实例 (两个消费线程)

B 组有 4 个消费者实例

由图可以看出，A 组的消费者 C1, C2 平均要消费两个分区的数据，而 B 组的消费者平均消费一个分区的数据 (最理想的状态), 得到的结论是 : 一条消息只能被一个消费组中的一个消费者实例消费到 , (换句话说，不可能出现组中的两个消费者负责同一个分区，同组内消费者不会重复消费)

等等，考虑的场景还不够，下边再提些问题 :

如果分区数大于或等于组中的消费者实例数，那就没有问题，但是如果消费者实例的数量 > 主题下分区数量，那么按照默认的策略 (之所以强调默认策略是因为可以自定义策略), 有一些消费者是多余的，一直接不到消息而处于空闲状态.

但是假设有消费者实例就是不安分，就造成了多个消费者负责同一个分区，这样会造成什么？(重复消费就太可怕了)

我们知道，Kafka 它在设计的时候就是要保证分区下消息的顺序，也就是说消息在一个分区中的顺序是怎样的，那么消费者在消费的时候看到的就是什么样的顺序，那么要做到这一点就首先要保证消息是由消费者主动拉取的（pull），其次还要保证一个分区只能由一个消费者负责。倘若，两个消费者负责同一个分区，那么就意味着两个消费者同时读取分区的消息，由于消费者自己可以控制读取消息的 offset (偏移量)，就有可能 C1 才读到 2，而 C2 读到 1，C1 还没提交 offset，这时 C2 读到 2 了，相当于多线程读取同一个消息，会造成消息处理的重复，且不能保证消息的顺序，这就跟主动推送（push）无异。