13518219792
网站建设资讯

NEWS

网站建设资讯

如何进行Docker下kafka的本地环境搭建

今天就跟大家聊聊有关如何进行Docker下kafka的本地环境搭建，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

德阳网站制作公司哪家好，找创新互联！从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设等网站项目制作，到程序开发，运营维护。创新互联公司2013年成立到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选创新互联。

我们通过实战来学习如何编写这些脚本，搭建本地kafka环境；

本次实践会制作docker镜像，整个环境涉及到多个容器，我们先把它们全部列出来，再梳理一下之间的关系，如下图：

如何进行Docker下kafka的本地环境搭建

kafka sever提供消息服务; message producer的作用是产生执行主题的消息; message consumer的作用是订阅指定主题的消息并消费掉。

###zookeeper### zookeeper使用单机版，没什么需要定制的，因此直接使用官方镜像即可，daocloud.io/library/zookeeper:3.3.6

###kafka sever### 去hub.docker.com上搜索kafka，没看到官方标志的镜像，还是自己做一个吧，写Dockerfile之前先准备两个材料：kafka安装包和启动kafka的shell脚本；

kafka安装包用的是2.9.2-0.8.1版本，在 git@github.com:zq2599/docker_kafka.git中，请clone获取；

启动kafka server的shell脚本内容如下，很简单，在kafka的bin目录下执行脚本启动server即可：

#!/bin/bash
$WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-server-start.sh $WORK_PATH/$KAFKA_PACKAGE_NAME/config/server.properties

接下来可以编写Dockerfile了，如下：

# Docker image of kafka
# VERSION 0.0.1
# Author: bolingcavalry

#基础镜像使用tomcat，这样可以免于设置java环境
FROM daocloud.io/library/tomcat:7.0.77-jre8

#作者
MAINTAINER BolingCavalry 

#定义工作目录
ENV WORK_PATH /usr/local/work

#定义kafka文件夹名称
ENV KAFKA_PACKAGE_NAME kafka_2.9.2-0.8.1

#创建工作目录
RUN mkdir -p $WORK_PATH

#把启动server的shell复制到工作目录
COPY ./start_server.sh $WORK_PATH/

#把kafka压缩文件复制到工作目录
COPY ./$KAFKA_PACKAGE_NAME.tgz $WORK_PATH/

#解压缩
RUN tar -xvf $WORK_PATH/$KAFKA_PACKAGE_NAME.tgz -C $WORK_PATH/

#删除压缩文件
RUN rm $WORK_PATH/$KAFKA_PACKAGE_NAME.tgz

#执行sed命令修改文件，将连接zk的ip改为link参数对应的zookeeper容器的别名
RUN sed -i 's/zookeeper.connect=localhost:2181/zookeeper.connect=zkhost:2181/g' $WORK_PATH/$KAFKA_PACKAGE_NAME/config/server.properties

#给shell赋予执行权限
RUN chmod a+x $WORK_PATH/start_server.sh

如脚本所示，操作并不复杂，复制解压kafka安装包，启动shell脚本，再把配置文件中zookeeper的ip改成link时zookeeper的别名；

Dockerfile编写完成后，和kafka_2.9.2-0.8.1.tgz以及start_server.sh放在同一个目录下，用控制台在此目录下执行：

docker build -t bolingcavalry/kafka:0.0.1 .

镜像构建成功后，新建一个目录编写docker-compose.yml脚本，如下：

version: '2'
services:
  zk_server: 
    image: daocloud.io/library/zookeeper:3.3.6
    restart: always
  kafka_server: 
    image: bolingcavalry/kafka:0.0.1
    links: 
      - zk_server:zkhost
    command: /bin/sh -c '/usr/local/work/start_server.sh'
    restart: always
  message_producer: 
    image: bolingcavalry/kafka:0.0.1
    links: 
      - zk_server:zkhost
      - kafka_server:kafkahost
    restart: always
  message_consumer: 
    image: bolingcavalry/kafka:0.0.1
    links: 
      - zk_server:zkhost
    restart: always

docker-compose.yml中配置了四个容器：

  1. zookeeper是官方的;

  2. 其他三个都是用刚刚制作的bolingcavalry/kafka做镜像生成的;

  3. kafka_server在启动时执行了start_server.sh脚本把服务启动起来了;

  4. message_producer和message_consumer都仅仅是将kafka环境安装好了，以便于通过命令行发送或者订阅消息，但是这两个容器本身并未启动server；

  5. kafka_server，message_producer，message_consumer都通过link参数连接到了zookeeper容器，并且message_producer还连接到了kafka server，因为发送消息的时候会用到kafka server的ip地址；

现在打开终端，在docker-compose.yml所在目录下执行docker-compose up -d，即可启动所有容器。

看完上述内容，你们对如何进行Docker下kafka的本地环境搭建有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注创新互联行业资讯频道，感谢大家的支持。


本文名称：如何进行Docker下kafka的本地环境搭建
网站链接：http://cdweb.net/article/jsiejs.html

其他资讯