Kafka工作原理
常用概念
- Broker：可以理解为一个节点，一台kafka服务。
- Topic（主题）：可以理解为表，一个topic可以有多个Partition分区。
- Partition(分区)：可以解决一个topic消息过大的问题，例如现在有1T的消息，有了分区后，可以把1T的消息拆分成多份，例如拆分成两个512G的消息，存放到两个分区中。
- Replicas(副本)：为主题中的某个分区创建多个备份，多个备份放到Kafka集群的多个broker中，会有一个副本作为leader，其他是follower。
- leader：负责kafka的读和写，负责把数据同步给follower。当leader挂了，经过主从选举，从isr的多个follwer中选举一个新的leader。
- isr：可以同步的节点以及已经同步的节点会被存入ISR集合中，注意：如果isr中的节点性能较差，会被踢出isr集合。