[Docker] Kafka에 인증 설정이 적용된 도커 이미지 만들고 도커허브에 푸시하기

 

카프카 컨테이너를 사용할 때마다,

사용자 인증 설정을 매번 해주니 번거로웠다. 애초에 사용자 인증 설정이 들어간 도커 이미지를 만들어보면 어떨까? 라는 생각이 들었다. 회사 동료들도 편하게 한번에 이미지 풀받아서 쓸 수도 있으니 한번 해보자. gogo

1) Dockerfile 생성

이미지 명 - iabacus/kafka-plain-image:1.0.0

# Base image
FROM bitnami/kafka:latest

# Kafka configuration through environment variables
ENV KAFKA_CFG_BROKER_ID=100
ENV KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
ENV KAFKA_CFG_LISTENERS=PLAINTEXT://0.0.0.0:9092,SASL_PLAINTEXT://0.0.0.0:9093
ENV KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.52:9092,SASL_PLAINTEXT://192.168.2.52:9093
ENV KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT
ENV KAFKA_CFG_SASL_ENABLED_MECHANISMS=PLAIN
ENV KAFKA_CFG_SASL_MECHANISM_INTER_BROKER_PROTOCOL=PLAIN
ENV KAFKA_CFG_INTER_BROKER_LISTENER_NAME=SASL_PLAINTEXT
ENV KAFKA_CLIENT_USERS=admin
ENV KAFKA_CLIENT_PASSWORDS=admin-secret
ENV KAFKA_CLIENT_LISTENER_NAME=SASL_PLAINTEXT

# JAAS configuration
RUN echo "KafkaServer {" > /opt/bitnami/kafka/config/jaas.conf && \\
    echo "   org.apache.kafka.common.security.plain.PlainLoginModule required" >> /opt/bitnami/kafka/config/jaas.conf && \\
    echo "   username=\\"admin\\" password=\\"admin-secret" >> /opt/bitnami/kafka/config/jaas.conf && \\
    echo "   user_admin=\\"admin-secret\\" user_user1=\\"user1-secret\\";" >> /opt/bitnami/kafka/config/jaas.conf && \\
    echo "};" >> /opt/bitnami/kafka/config/jaas.conf && \\
    echo "KafkaClient {" >> /opt/bitnami/kafka/config/jaas.conf && \\
    echo "   org.apache.kafka.common.security.plain.PlainLoginModule required" >> /opt/bitnami/kafka/config/jaas.conf && \\
    echo "   username=\\"admin\\" password=\\"admin-secret\\";" >> /opt/bitnami/kafka/config/jaas.conf && \\
    echo "};" >> /opt/bitnami/kafka/config/jaas.conf

# Configure Kafka options to use JAAS configuration
ENV KAFKA_OPTS="-Djava.security.auth.login.config=/opt/bitnami/kafka/config/jaas.conf"

# Expose ports
EXPOSE 9092 9093

# Set default command
CMD ["sh", "-c", "/opt/bitnami/scripts/kafka/run.sh"]

 

만든 도커파일을 빌드

docker build -t iabacus/kafka-plain-image:1.0.0 .

 

빌드된 이미지를 컨테이너로 실행

docker run --name kafka1 -p 9092:9092 -p 9093:9093 --network kafka-net iabacus/kafka-plain-image:1.0.0 

 

2) docker-compose.yml

실행 시에 환경 변수 동적 변경해서 실행하도록 도커 컴포즈 파일을 생성했다. 

services:
  kafka:
    image: iabacus/kafka-plain-image:1.0.0
    container_name: kafka-plain
    ports:
      - "9092:9092"
      - "9093:9093"
    environment:
      KAFKA_CFG_BROKER_ID: 5
      KAFKA_CFG_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://192.168.2.55:9092,SASL_PLAINTEXT://192.168.2.55:9093
    networks:
      - kafka-net
    depends_on:
      - zookeeper

  zookeeper:
    image: bitnami/zookeeper:latest
    container_name: zookeeper-plain
    ports:
      - "2181:2181"
    environment:
      ALLOW_ANONYMOUS_LOGIN: "yes"
    networks:
      - kafka-net

networks:
  kafka-net:

docker compose up

 

3) 카프카 컨테이너에 토픽 샘플 하나 생성

이제 테스트를 해보자. 생성한 컨테이너에 토픽을 하나 생성해준다. 

docker exec -it kafka-plain bash

kafka-topics.sh --create \\
  --topic test-topic \\
  --bootstrap-server 192.168.2.52:9092 \\
  --replication-factor 1 

생성한 토픽 확인 !

kafka-topics.sh --list --bootstrap-server 192.168.2.52:9092

 

4) 외부에서 접속 가능한지 확인

다른 서버에서 접근해보기

client-test.properties

kafka1의 bin폴더 안에 작성

sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret";
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

 

아래 명령어로 내가 만든 카프카의 토픽 목록을 가져오는지 (접근이 되는지) 확인

kafka-topics.sh --list \\
  --bootstrap-server 192.168.2.52:9093 \\
  --command-config /opt/bitnami/kafka/bin/client-test.properties

잘 가져오는거 확인하고

5) 도커 허브에 푸시

진짜 내가 만든 도커 이미지가 잘 되는지 확인이 되었으니 원격 도커허브에 푸시를 해보자. 

리눅스 창에 아래 명령어로 도커 허브 로그인

docker login
iabacus # 도커허브 유저이름
adasdfasdfasdfasdf # 비밀번호

 

푸시!!!!

docker push iabacus/kafka-plain-image:1.0.0

 

 

도커 허브 설명에 아래와 같이 작성하여 사용자에게 안내했다. 편하게 사용할 수 있도록.

# **docker-compose.xml (sample)**
```
services:
  kafka:
    image: iabacus/kafka-plain-image:1.0.0
    container_name: kafka-plain
    ports:
      - "9092:9092"
      - "9093:9093"
    environment:
      KAFKA_CFG_BROKER_ID: 5
      KAFKA_CFG_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://[kafak_server_IP]:9092,SASL_PLAINTEXT://[kafak_server_IP]:9093
    networks:
      - kafka-net
    depends_on:
      - zookeeper

  zookeeper:
    image: bitnami/zookeeper:latest
    container_name: zookeeper-plain
    ports:
      - "2181:2181"
    environment:
      ALLOW_ANONYMOUS_LOGIN: "yes"
    networks:
      - kafka-net

networks:
  kafka-net:
```

- `[kafak_server_IP]`,`KAFKA_CFG_BROKER_ID`, `KAFKA_CFG_ZOOKEEPER_CONNECT` 등을 수정하여 적절한 값으로 설정하세요 !



## 토픽 생성 (sample)
kafka-topics.sh --create \
  --topic test-topic \
  --bootstrap-server `[kafak_server_IP]`:9092 \
  --replication-factor 1 


## 생성된 토픽 확인 (sample)
kafka-topics.sh --list --bootstrap-server `[kafak_server_IP]`:9092



# **외부에서 접속 테스트**
## client-test.properties (sample)
외부에서 해당 Kafka 컨테이너로 접속 시 아래의 properties 파일이 필요하므로 복사해서 사용하세요.
```bash
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret";
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
```

### 외부에서 접근이 되는지 확인하는 명령어
```bash
kafka-topics.sh --list \
  --bootstrap-server `[kafak_server_IP]`:9093 \
  --command-config client-test.properties
```

 

 

실제로 내가 만든 카프카 인증이 적용된 이미지가 잘 올라갔다. 

 

같은 프로젝트 진행중인 동료에게 도커컴포즈파일 생성해서 docker compose up 해보라고 했는데 잘 받아졌고, 잘 사용이 된다! gooooood~~~~~~~~~~~~

 

한번 만들어놓으면 두고두고 나도 쓰고 너도 쓰는 도커 이미지 너무 좋다! 

커스텀으로 만들 수 있는 것도 재밌고 편하다. 자주 애용해야겠다 ^^