"使用 Docker 搭建 Kafka 1. 组件 [链接]: 要想使用 Docker 来启动 kafka,开发环境提前装好 Docker 是必须的,我一般在 Ubuntu 虚拟机上进行开发测试 [链接]: kafka 依赖 zookeeper,使用 docker-compose 来管理容器依赖 2.Docker 镜像 .."

使用 Docker 搭建 Kafka

使用 Docker 搭建 Kafka

1. 组件

2.Docker 镜像

3. 安装

创建docker-compose yml文件, 复制官方提供的文件内容

version: '2.1'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.5.139
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

!!! KAFKA_ADVERTISED_HOST_NAME : 填写DockerNAT的 IP 地址

4. 构建 docker-compose

docker-compose up -d

5. 启动 kafka 多节点 [可选]

docker-compose scale kafka=3

6. 进入容器

docker exec -it docker-compose_kafka_1 /bin/bash

7.kafka 操作

# 创建 topic `test`
$KAFKA_HOME/bin/kafka-topics.sh --create --topic test --zookeeper docker-compose_zookeeper_1:2181 --replication-factor 1 --partitions 1
# 发送消息
$KAFKA_HOME/bin/kafka-console-producer.sh --topic=test --broker-list docker-compose_kafka_1:9092
# 接受消息
$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server docker-compose_kafka_1:9092 --from-beginning --topic test

  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:PipeSoloSymWide 等,欢迎大家加入,贡献开源。

    2132 引用 • 3663 回帖 • 619 关注
  • Docker

    Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app)。几乎没有性能开销, 可以很容易地在机器和数据中心中运行。最重要的是, 他们不依赖于任何语言、框架或包括系统。

    174 引用 • 313 回帖 • 722 关注
  • Kafka

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是现代系统中许多功能的基础。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    22 引用 • 34 回帖 • 169 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    42 引用 • 28 回帖
回帖   
请输入回帖内容...