kafka环境搭建并和spring整合

kafka 简单介绍：

1.名词

 

Kafka 集群包含一个或多个服务器，这种服务器被称为 broker

 

每条发布到  集群的消息都有一个类别，这个类别被称为 。（物理上不同  的

消息分开存储，逻辑上一个  的消息虽然保存于一个或多个  上但用户只需指定消

息的  即可生产或消费数据而不必关心数据存于何处）

消费消息。每个 consumer 属于一个特定的 consumer group（可为每个 consumer 指

定 group name，若不指定 group name 则属于默认的 group）。使用 consumer high

level API 时 ， 同 一 topic 的 一 条 消 息 只 能 被 同 一 个 consumer group 内 的 一 个

consumer 消费，但多个 consumer group 可同时消费这一消息。

2.Kaa 架构

　　如上图所示，一个典型的 kafka 集群中包含若干 producer，若干 broker（Kafka 支

持水平扩展，一般 broker 数量越多，集群吞吐率越高），若干 consumer group，以及

一个  集群。Kafka 通过 Zookeeper 管理集群配置，选举 leader。producer 使

用 push 模式将消息发布到 broker，consumer 使用 pull 模式从 broker 订阅并消费消息。

能力以适当的速率消费消息。

4.数据存储时间

对于传统的  而言，一般会删除已经被消费的消息，而  集群会保留

所有的消息，无论其被消费与否。当然，因为磁盘限制，不可能永久保留所有数据（实际

上也没必要），因此  提供两种策略去删除旧数据。一是基于时间，二是基于 

文件大小。例如可以通过配置 !"#"$%，让  删除一周前

的数据，也可通过配置让  在  文件超过 &'( 时删除旧数据，如下所示

5.properes 文件总结

 默认值：无

每一个  都有一个唯一的 ，这是一个非负整数，这个  就是  的)名字)，

这样就允许  迁移到别的机器而不会影响消费者。你可以选择任意一个数字，只要它

 默认值：

指定了  的 ，以 * 的形式， 和  就是

 集群各个节点的  和 。  集群中的某个节点可能会挂掉，

所以可以指定多个节点的 。如下所式：

&*&+,*,+-*-.

 也可以允许你指定一个))的路径，可以让  集群将需要存储在

 的数据存储到指定的路径下这可以让多个  集群或其他应用程序公用同一个

 集群。可以使用如下的 ：

&*&+,*,+-*-""

这样就可以将这个集群的所有数据存放在"" 路径下。注意在启动集群前，一

果 没 有 设 置 会 使 用  的 值 ， 格 式 ： $%./0123!43*""

%%*565,。

 !默认值：

broker 的 hostname，如果设置了它，会仅绑定这个地址。如果没有设置，则会绑

  !默认值：

如果设置了这个 hostname，会分发给所有的 producer，consumer 和其他 broker

值 ， 如 果 host.name 没 设 置 则 返 回

java.net.InetAddress.getCanonicalHostName() ， 不 推 荐 使 用 ， 只 有 当

advertised.listeners 或 listeners 没有配置时才使用。

  默认值：

如果在创建 topic 的时候没有指定 partition 的数量，则使用这个值来设置。

 $默认值：%'&%'&%'

一个 topic 的一个 partition 对应的所有 segment 文件称为 log。这个设置控制着一

个 segment 文件的最大的大小，如果超过了此大小，就会生成一个新的 segment 文件。

 !默认值：'&)

这 个 设 置 会 强 制 Kafka 去 roll 一 个 新 的 log segment 文 件 ， 即 使 当 前 使 用 的

segment 文件的大小还没有超过 log.segment.bytes。

 $默认值：

此配置可以设置成 delete 或 compact。如果设置为 delete，当 log segment 文件

的大小达到上限，或者 roll 时间达到上限，文件将会被删除。如果设置成 compact，则此

文件会被清理，标记成已过时状态，