blogger903 님의 블로그

  • 홈
  • 태그
  • 방명록

kafka 2

kafka consumer lag으로 kafka consumer auto scaling하기

이번 포스트에서는 kafka consumer lag을 기반으로 kafka consumer를 auto scaling 적용해봤습니다.준비사항kafka clusterk8s clusterkedalens상황kafka consumer가 lag이 쌓이면, kafka consumer를 늘려서 lag을 줄이고, lag이 줄면 kafka consumer를 줄여서 자원을 절약하고 싶습니다.해결방안keda를 이용하여 kafka consumer lag을 기반으로 kafka consumer를 auto scaling합니다.구성요소구현1. ScaledObject 생성HPA가 적용될 Deployment를 지정합니다.metadata.labels.deploymentName: HPA가 적용될 Deployment의 이름spec.scaleTa..

kafka 2024.08.21

docker compose로 kafka kraft 모드 구성

이번 포스트에서는 로컬 컨테이너로 띄운 kafka-ui와 호스트머신에서 springboot로 띄웠을때 둘다 kafka-broker에 붙는 예시를 구성했습니다kraft 모드는 zookeeper가 없는 kafka cluster 구성입니다kafka-ui는 docker bridge 네트워크를 구성해서 dns로 통신이 가능한 상태인데, springboot에서는 localhost로 붙어도 broker를 찾지 못한다는 이슈가 발생합니다.docker compose로 kafka를 띄웁니다docker-compose.ymlversion: "3.8"services: kafka1: container_name: "kafka1" image: bitnami/kafka:latest ports: - "9092..

kafka 2024.08.11
이전
1
다음
더보기
프로필사진

blogger903 님의 블로그

blogger903 님의 블로그 입니다.

  • 분류 전체보기 (61)
    • kotlin (5)
      • 기초 (5)
    • 스프링 프레임워크 (21)
      • kafka (3)
      • springbatch (5)
      • kotlin (5)
      • test (3)
    • 테스트 (2)
      • 부하테스트 (2)
    • 디자인패턴 (4)
    • 모니터링 (1)
    • DDD (0)
    • 파이썬 (1)
    • Java (6)
      • 기초 (2)
      • JPA (3)
    • Web Application 운영 (2)
    • DB (3)
    • Nestjs (1)
      • jest (1)
    • Web Application 개발 도구 (1)
    • kubernetes (4)
      • practical (3)
    • kafka (2)
    • 디바이스 (1)
    • Graphql (1)
    • MCP (3)
    • SW개발생각 (1)

Tag

util class, redisson-cache-manager, cacheresolver, claude code, enum-when, delegatingbytopicdeserializer, confluent-scaledobject, 테스트케이스 작성, jmeter https test script recorder, jpa-페이징, 로그최적화, ShortenedThrowableConverter, google calendar mcp, hashicorp-vault, 스마트 캐스트, dgs framework, mysql-실행계획, 디자인패턴, MCP, kotlin문법,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/08   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바