Jimywu's Hugo Site
Toggle Dark/Light/Auto mode Toggle Dark/Light/Auto mode Toggle Dark/Light/Auto mode Back to homepage

Kafka

介绍

一个分布式、分区的、多副本的、多订阅者的基于zookeeper协调的消息队列系统

名词解释

  • Topic 发布到Kafka集群的消息的类别,类似于数据库的表名
  • broker 服务器节点
  • partition topic中的数据分割为一个或多个patition , 至少有一个
  • producer 生产者
  • consumer 消费者

常用命令

  • 启动kafaka
    bin/kafka-server-start.sh config/server.properties
  • 创建主题
    bin/kafka-topics.sh --create --zookeeper hadoop101:2181 --partitions 1 --replication-factor 1 --topic first
    bin/kafka-topics.sh --create --partitions 1 --replication-factor 1 --topic first --bootstrap-server 127.0.0.1:9092
  • 查看主题
    bin/kafka-topics.sh --list --zookeeper hadoop101:2181
  • 删除主题
    bin/kafka-topics.sh --zookeeper hadoop101:2181 --delete --topic first
  • 发送消息
    bin/kafka-console-producer.sh --broker-list hadoop101:9092 --topic first
  • 消费消息
    bin/kafka-console-consumer.sh --zookeeper hadoop101:2181 --topic first bin/kafka-console-consumer.sh --zookeeper hadoop101:2181 --topic first --from-beginning