Kafka
一个分布式、分区的、多副本的、多订阅者的基于zookeeper协调的消息队列系统
- Topic 发布到Kafka集群的消息的类别,类似于数据库的表名
- broker 服务器节点
- partition topic中的数据分割为一个或多个patition , 至少有一个
- producer 生产者
- consumer 消费者
- 启动kafaka
bin/kafka-server-start.sh config/server.properties - 创建主题
bin/kafka-topics.sh --create --zookeeper hadoop101:2181 --partitions 1 --replication-factor 1 --topic first
bin/kafka-topics.sh --create --partitions 1 --replication-factor 1 --topic first --bootstrap-server 127.0.0.1:9092 - 查看主题
bin/kafka-topics.sh --list --zookeeper hadoop101:2181 - 删除主题
bin/kafka-topics.sh --zookeeper hadoop101:2181 --delete --topic first - 发送消息
bin/kafka-console-producer.sh --broker-list hadoop101:9092 --topic first - 消费消息
bin/kafka-console-consumer.sh --zookeeper hadoop101:2181 --topic firstbin/kafka-console-consumer.sh --zookeeper hadoop101:2181 --topic first --from-beginning