Kafka是什么？典型应用场景有哪些？ （消息队列、流处理平台；日志收集、实时分析、事件驱动架构等）

Kafka 核心解析与场景代码示例

一、Kafka核心概念

Apache Kafka 是分布式流处理平台，具备以下核心能力：

• 发布-订阅模型：支持多生产者/消费者并行处理
• 持久化存储：消息默认保留7天（可配置）
• 分区机制：数据分布式存储，提升吞吐量
• 副本机制：保障数据高可用性

二、典型应用场景与Java实现

1. 实时数据管道（服务解耦）

// 生产者示例
Properties producerProps = new Properties();
producerProps.put("bootstrap.servers", "localhost:9092");
producerProps.put("key.serializer", StringSerializer.class.getName());
producerProps.put("value.serializer", StringSerializer.class.getName());try (Producer<String, String> producer = new KafkaProducer<>(producerProps)) {producer.send(new ProducerRecord<>("order_topic", "order123", "New Order Created"));
}// 消费者示例
Properties consumerProps = new Properties();
consumerProps.put("bootstrap.servers", "localhost:9092");
consumerProps.put("group.id", "order-processor");
consumerProps.put("key.deserializer", StringDeserializer.class.getName());
consumerProps.put("value.deserializer", StringDeserializer.class.getName());try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(consumerProps)) {consumer.subscribe(Collections.singleton("order_topic"));while (true) {ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));records.forEach(record -> processOrder(record.value()));}
}

优势：生产消费解耦，支持水平扩展

2. 事件溯源（金融交易）

// 事件发布
public void publishTransactionEvent(Transaction transaction) {String eventJson = serializeTransaction(transaction);producer.send(new ProducerRecord<>("transaction_events", transaction.getId(), eventJson));
}// 事件回放
public void replayEvents(LocalDateTime startTime) {consumer.seekToBeginning(consumer.assignment());ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));records.forEach(record -> {if (parseTimestamp(record) > startTime) {rebuildState(record.value());}});
}

优势：完整审计追踪，支持状态重建

3. 日志聚合（分布式系统）

// 日志收集器
public class ServiceLogger {private static Producer<String, String> kafkaProducer;static {Properties props = new Properties();props.put("bootstrap.servers", "kafka:9092");kafkaProducer = new KafkaProducer<>(props);}public static void log(String serviceName, String logEntry) {kafkaProducer.send(new ProducerRecord<>("app_logs", serviceName, logEntry));}
}// 日志分析消费者
consumer.subscribe(Collections.singleton("app_logs"));
records.forEach(record -> {elasticsearch.indexLog(record.key(), record.value());
});

优势：统一日志处理，支持实时分析

4. 流处理（实时风控）

// Kafka Streams处理拓扑
StreamsBuilder builder = new StreamsBuilder();
KStream<String, Transaction> transactionStream = builder.stream("transactions");transactionStream.groupByKey().windowedBy(TimeWindows.of(Duration.ofMinutes(5))).aggregate(() -> 0L,(key, transaction, total) -> total + transaction.getAmount(),Materialized.with(Serdes.String(), Serdes.Long())).toStream().filter((windowedKey, total) -> total > FRAUD_THRESHOLD).to("fraud_alerts", Produced.with(WindowedSerdes.timeWindowedSerdeFrom(String.class), Serdes.Long()));

优势：实时复杂事件处理，毫秒级响应

三、核心优势对比

场景	传统方案痛点	Kafka解决方案
数据管道	系统耦合度高	生产消费解耦，吞吐量提升10倍+
事件溯源	数据易丢失	持久化存储+副本机制保障数据安全
日志聚合	日志分散难分析	统一收集+流式处理能力
实时处理	批处理延迟高	亚秒级延迟+Exactly-Once语义

四、生产环境最佳实践

// 生产者优化配置
producerProps.put("acks", "all"); // 确保数据可靠性
producerProps.put("compression.type", "snappy"); // 压缩优化
producerProps.put("max.in.flight.requests.per.connection", 5); // 吞吐优化// 消费者优化配置
consumerProps.put("auto.offset.reset", "earliest"); // 从最早开始消费
consumerProps.put("enable.auto.commit", false); // 手动提交offset
consumerProps.put("max.poll.records", 500); // 批量拉取优化