kafka梳理

时间:2021-06-28 18:56:22   收藏:0   阅读:0

关键点

Kafka的几个概念

此处可以结合本系列上篇文章kafka大白话入门,对Kafka先有个感性认识,再来理解几个概念。

此处简单的前情提要:

假设本身有A和B要通信,他俩直接聊就行了,这时候比如就形成一条通信链路;
如果左右各有3人要通信呢,那就会变成3*3=9条通信链路,
当多对多的情况下就会进而演变为N*N条通信线路,极度复杂冗余,所以抽出来一层,用来接收和转发,这个就是消息队列(kafka)。

Notice:

概念


补充


Kafka架构图

技术图片

总结:

Kafka工作流程及文件存储机制

工作流程

技术图片
简单描述下:

Kafka中的消息是以topic来分类的,生产者和消费者都是面向topic的,不过topic是个逻辑上的概念,而partition是物理上的概念,所以存盘的最小粒度单位是分区。

每个partition都对应于一个log文件,log保存的就是生产者生产的数据,生产者的消息会不断追加到log文件,且每个消息都会有自己的offset。

每个partition中的消息是以log的形式存在,但是Kafka的消息最底层用的是LogSegment(日志段),因为单个log文件大小上限为1G,超过后会生成新的log文件。也就是说一个partition可能对应多个log文件。

Kafka的一个日志段包括一个消息日志文件和若干索引文件组成,即一个.log和.index文件

存储机制

技术图片

由于生产者生产的消息会不断追加到 log 文件末尾,为防止 log 文件过大导致数据定位效率低下,Kafka 采取了 分片和 索引机制,将每个 partition 分为多个 segment。每个 segment对应两个文件 ——“.index”文件和“.log”文件。这些文件位于一个文件夹下,该文件夹的命名规则为:topic 名称+分区序号。例如,first 这个 topic 有三个分区,则其对应的文件夹为 first-0,first-1,first-2。

00000000000000000000.index
00000000000000000000.log
00000000000000170410.index
00000000000000170410.log
00000000000000239430.index
00000000000000239430.log

kafka把数据存在磁盘中,怎样保证较快的读取呢?


index文件和log文件详解:
技术图片

".index"文件存储大量的索引信息,".log"文件存储大量的数据,索引文件中的元数据指向对应数据文件中 message 的物理偏移地址。

因为索引的存在,所以查数据的时候使用了二分,故读写速度比较快。

总结

kafka的message是以topic为基本单位,不同topic之间是相互独立的。每个topic又可分为几个不同的partition,每个partition存储一部的分message。topic与partition的关系如下:
技术图片

其中,partition是以文件夹的形式存储在具体Broker本机上。
参考:Kafka之数据存储

评论(0)
© 2014 mamicode.com 版权所有 京ICP备13008772号-2  联系我们:gaon5@hotmail.com
迷上了代码!