KafkaListener 指定 ConcurrentKafkaListenerContainerFactory

KafkaListener 注解可以指定使用哪个 ConcurrentKafkaListenerContainerFactory，例如：

@KafkaListener(
  topics = "myTopic",
  containerFactory = "myCustomKafkaListenerContainerFactory")
public void listen(String message) {
  // 处理消息逻辑
}

其中，`myCustomKafkaListenerContainerFactory` 是一个由 `ConcurrentKafkaListenerContainerFactory` 实现类创建的实例，用于控制 KafkaListener 的并发处理方式。通过自定义这个工厂类，我们可以配置 KafkaListener 的并发度、消费者组、批量处理等属性。

相关问题

基于 ConcurrentKafkaListenerContainerFactory 创建 KafkaListener

基于 ConcurrentKafkaListenerContainerFactory 创建 KafkaListener 的步骤如下：

1. 创建一个 KafkaListenerContainerFactory 实例，可以使用 ConcurrentKafkaListenerContainerFactory。

2. 设置 KafkaListenerContainerFactory 的属性，例如：bootstrap.servers、group.id、auto.offset.reset 等。

3. 创建一个 KafkaListener 方法，并使用 @KafkaListener 注解来指定监听的 topic。

4. 在方法中处理接收到的消息。

示例代码如下：

@Configuration
@EnableKafka
public class KafkaListenerConfig {

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        factory.setConcurrency(3);
        factory.getContainerProperties().setPollTimeout(3000);
        return factory;
    }

    @Bean
    public ConsumerFactory<String, String> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public Map<String, Object> consumerConfigs() {
        Map<String, Object> props = new HashMap<>();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "group-id");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        return props;
    }

    @KafkaListener(topics = "test-topic")
    public void listen(ConsumerRecord<String, String> record) {
        System.out.println("Received message: " + record.value());
    }
}

在以上示例代码中，我们创建了一个 ConcurrentKafkaListenerContainerFactory 实例，并设置了其属性。

然后，我们创建了一个 KafkaListener 方法，使用 @KafkaListener 注解来指定监听的 topic，当接收到消息时，会执行该方法。

最后，在 KafkaListener 方法中，我们处理接收到的消息。

如何设置KafkaListener 的properties ，每次拉取10条

在 Spring Boot 中使用 KafkaListener，你可以通过在 KafkaListener 注解中设置 containerFactory 属性，来指定 KafkaListenerContainerFactory 实例，然后在 KafkaListenerContainerFactory 实例中设置 ConsumerFactory 的属性，以控制消费者的行为。具体来说，你可以在 ConsumerFactory 实例中设置 consumer.poll.records 属性，来指定每次拉取的最大消息数。

以下是一个示例代码：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.core.ConsumerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;
import org.springframework.kafka.listener.ContainerProperties;

import java.util.HashMap;
import java.util.Map;

@Configuration
@EnableKafka
public class KafkaConfiguration {

    @Value("${spring.kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Value("${spring.kafka.consumer.group-id}")
    private String groupId;

    @Bean
    public ConsumerFactory<String, String> consumerFactory() {
        Map<String, Object> props = new HashMap<>();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, groupId);
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        return new DefaultKafkaConsumerFactory<>(props);
    }

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, String> factory =
                new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        factory.setConcurrency(1);
        factory.getContainerProperties().setPollTimeout(3000);
        factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL_IMMEDIATE);
        factory.getContainerProperties().setIdleEventInterval(60000L);
        factory.getContainerProperties().setConsumerRebalanceListener(new ConsumerRebalanceListener() {
            @Override
            public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
                System.out.println("Partitions revoked: " + partitions);
            }

            @Override
            public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
                System.out.println("Partitions assigned: " + partitions);
            }
        });
        factory.setBatchListener(true);
        factory.getContainerProperties().setPollTimeout(1000L);
        factory.getContainerProperties().setIdleBetweenPolls(100L);
        factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.BATCH);
        factory.getContainerProperties().setAckOnError(false);
        factory.getContainerProperties().setSyncCommits(true);
        factory.getContainerProperties().setCommitSyncRetries(3);
        factory.getContainerProperties().setCommitInterval(100L);
        factory.getContainerProperties().setLogContainerConfig(true);
        factory.getContainerProperties().setMissingTopicsFatal(false);
        factory.getContainerProperties().setMonitorInterval(5000L);
        factory.getContainerProperties().setNoPollThreshold(5);
        factory.getContainerProperties().setPollTimeout(5000L);
        factory.getContainerProperties().setPollTimeout(null);
        factory.getContainerProperties().setRecordFilterStrategy(r -> {
            System.out.println("Received message: " + r);
            return r.value().toLowerCase().contains("error");
        });
        factory.getContainerProperties().setConsumerTaskExecutor(new ThreadPoolExecutor(
                10, 10, 0L, TimeUnit.MILLISECONDS,
                new LinkedBlockingQueue<>()));
        return factory;
    }

    @KafkaListener(topics = "my-topic", containerFactory = "kafkaListenerContainerFactory")
    public void listen(List<String> messages) {
        System.out.println("Received " + messages.size() + " messages:");
        messages.forEach(System.out::println);
    }
}

在上面的代码中，我们通过设置 consumerFactory 的 consumer.poll.records 属性为 10，来指定每次拉取的最大消息数。同时，我们也设置了一些其他的属性，来控制消费者的行为，这些属性可以根据你的需求进行调整。