blogger903 님의 블로그

이번 포스트에서는 kafka consumer lag을 기반으로 kafka consumer를 auto scaling 적용해봤습니다.준비사항kafka clusterk8s clusterkedalens상황kafka consumer가 lag이 쌓이면, kafka consumer를 늘려서 lag을 줄이고, lag이 줄면 kafka consumer를 줄여서 자원을 절약하고 싶습니다.해결방안keda를 이용하여 kafka consumer lag을 기반으로 kafka consumer를 auto scaling합니다.구성요소구현1. ScaledObject 생성HPA가 적용될 Deployment를 지정합니다.metadata.labels.deploymentName: HPA가 적용될 Deployment의 이름spec.scaleTa..

이번 포스트에서는 로컬 컨테이너로 띄운 kafka-ui와 호스트머신에서 springboot로 띄웠을때 둘다 kafka-broker에 붙는 예시를 구성했습니다kraft 모드는 zookeeper가 없는 kafka cluster 구성입니다kafka-ui는 docker bridge 네트워크를 구성해서 dns로 통신이 가능한 상태인데, springboot에서는 localhost로 붙어도 broker를 찾지 못한다는 이슈가 발생합니다.docker compose로 kafka를 띄웁니다docker-compose.ymlversion: "3.8"services: kafka1: container_name: "kafka1" image: bitnami/kafka:latest ports: - "9092..