카프카2

• 

  [대규모 시스템 설계] 1-3. 아키텍처 설계 무상태 (stateless) 웹 계층 오늘의 포스팅은 무상태 (stateless) 웹 계층을 시작으로 천천히 알아보자. 이전 포스팅에서 생각보다 많은 것을 배워봤다. CDN을 통해 정적 컨텐츠를 캐시하고 로드밸런서를 통해 웹 서버의 분산, 데이터베이스의 다중화 및 캐시 활용 등을 배웠다. 이제 웹 계층을 수평적으로 확장하는 방법을 배워볼 순서인데, 사용자 세션 데이터와 같은 상태정보를 웹 계층에서 제거해야한다. 예를들면, 상태 정보를 관계형 데이터베이스나 NoSQL 같은 지속성 저장소에 보관하여 필요시 가져오게 하는 방법으로 말이다. 이렇게 상태정보를 웹 계층에서 제거하여 설계한 웹 계층을 무상태 웹 계층이라고 부른다. 1. 상태 정보 의존적인 아키텍처 무상태 웹 계층을 배우기전에 상태를 저장하는 웹 계.. 개발 일지/대규모 시스템 설계 2023. 7. 21.

• 

  [Infra] 7. ELK Stack & Kafka 흐름 - HelloWorld Project Elastic Stack(ELK + Beats) Kafka를 추가하여 구현하였다. Kafka 를 도입하는 많은 이유 중 하나는 트래픽이 몰리면 Logstash, Elasticsearch 만으로는 부하를 견디기 힘들다고한다. 일반적으로 분산 메시징 시스템으로서, 로그 또는 이벤트 데이터를 수집하고 처리하는 중간 계층 역할을 한다. 이 아키텍처의 큰 장점 중 하나는 Kafka가 로그 데이터의 흐름을 안정화시키고 시스템이 부하에 대응할 수 있도록 해준다. Kafka Kafka는 Pub-Sub 모델을 가지는 분산 메시징 플랫폼이다. 기존 메시징 시스템처럼 Broker 가 Consumer 에게 직접 메시지를 전송하는 방식이 아니라, Consumer가 Broker 로부터 직접 메시지를 가져가는 방식이다. Produ.. 기타/인프라 구축과정 2023. 6. 1.