Kafka 入门到起飞系列

**Kafka 入门到起飞系列**

###什么是 Apache KafkaApache Kafka 是一个分布式流数据平台，最初由 LinkedIn 开发，以解决大规模日志采集、处理和分析的需求。它提供了高吞吐量、低延迟和可扩展性等特点，使其成为大型数据处理系统的理想选择。

### Kafka 的基本概念####1. 主题（Topic）

主题是 Kafka 中的一个关键概念，它代表一个特定的数据流。每个主题可以有多个分区，每个分区都有自己的生产者和消费者。

####2. 分区（Partition）

分区是主题中的一部分，用于存储和处理数据。每个分区都有一个唯一的 ID，可以通过 ID 来访问特定的分区。

####3. 生产者（Producer）

生产者是向 Kafka Topics 中写入数据的客户端。它负责将数据发送到指定的 Topic 和 Partition。

####4. 消费者（Consumer）

消费者是从 Kafka Topics 中读取数据的客户端。它负责从指定的 Topic 和 Partition 中拉取数据并进行处理。

### Kafka 的基本流程1. **生产者**向 Kafka Topics 中写入数据。
2. **Broker**接收和存储数据，分区数据到不同的分区中。
3. **消费者**从 Kafka Topics 中读取数据，并进行处理。

### Kafka 入门示例####1. 安装 Kafka首先，我们需要安装 Kafka。可以通过以下命令下载并安装：

bashwget  -xvf kafka_2.12-2.7.0.tgzcd kafka_2.12-2.7.0

bashbin/zookeeper-server-start.sh etc/kafka/zookeeper.properties &
bin/kafka-server-start.sh etc/kafka/server.properties &

bashbin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor1 --partitions1 my_topic

from kafka import KafkaProducerproducer = KafkaProducer(bootstrap_servers=['localhost:9092'])

for i in range(10):
 producer.send('my_topic', value=f'message {i}'.encode('utf-8'))

from kafka import KafkaConsumerconsumer = KafkaConsumer('my_topic', bootstrap_servers=['localhost:9092'])

for message in consumer:
 print(message.value.decode('utf-8'))