DB & AWS Knowledge

이 페이지에서는 Kafka 를 구성 및 이용하기 위해 기반이 되는 Zookeeper 에 대하여 다룬다. 이 페이지는 perplexity 를 통해 필자가 어떤 prompt 를 작성하여 공부하는지를 공유한다. ([] 로 표기)또한, 검색이외에 추가로 덧붙일 내용은 ※ 로 추가한다. AI 를 통해 관련된 자료를 검색하다보면 이전 게시글과 중복된 사항도 있으나 이는 복습 및 상기 차원에서 그대로 기재 되도록 한다.또한, 출처 또한 동시에 표기한다. [Zookeeper 는 무엇이고, Kafka 에 어떻게 쓰이는지 알려줘] Zookeeper는 분산 시스템에서 여러 서버와 애플리케이션의 상태를 중앙에서 관리하고 조율해주는 오픈소스 코디네이션 서비스다. 주로 분산 환경에서 서버 간 정보 공유, 서버의 상태 모니터링, ..

이 페이지에서는 Kafka 를 공부하기 위해 주로 사용되는 용어들에 대해서 이전 게시글에 이어 추가 이해를 위하여 추가한다. [1] 2025.05.12 - [Kafka, MSK, Kinesis/아키텍처 및 내부 구조] - Kafka 를 공부하기 위해 필요한 기본 용어들[2] 2025.05.21 - [Kafka, MSK, Kinesis/아키텍처 및 내부 구조] - Kafka 기본 요소들에 대한 추가 이해 - 1 또한, 이 게시글은 도서 O'REILLY 의 '카프카 핵심 가이드' 의 내용들을 심화 이해하기 위하여 작성하는 글이다.이 페이지는 perplexity 를 통해 필자가 어떤 prompt 를 작성하여 공부하는지를 공유한다. ([] 로 표기)또한, 검색이외에 추가로 덧붙일 내용은 ※ 로 추가한다. AI ..

이 페이지에서는 Kafka 를 공부하기 위해 주로 사용되는 용어들에 대해서 이전 게시글에 이어 추가 이해를 위하여 추가한다. [+] 2025.05.12 - [Kafka, MSK, Kinesis/아키텍처 및 내부 구조] - Kafka 를 공부하기 위해 필요한 기본 용어들 또한, 이 게시글은 도서 O'REILLY 의 '카프카 핵심 가이드' 의 내용들을 심화 이해하기 위하여 작성하는 글이다.이 페이지는 perplexity 를 통해 필자가 어떤 prompt 를 작성하여 공부하는지를 공유한다. ([] 로 표기)또한, 검색이외에 추가로 덧붙일 내용은 ※ 로 추가한다. [Kafka 의 publish/subscribe messaging 구조 및 broker 의 필요성을 설명해 줘] - Kafka의 Publish/Sub..

이 페이지에서는 MongoDB 를 공부하기 위해 필요한 용어들 및 데이터 예시를 정리한다.또한 이 페이지는 perplexity 를 통해 필자가 어떤 prompt 를 작성하여 공부하는지를 공유한다. ([] 로 표기)그리고 확인 하는 내용에 개인적인 첨언이 필요할시에는 ※ 를 사용한다. [Kafka 에 기록되는 데이터 예시를 보여줘] Kafka에 기록되는 데이터 예시 Kafka에 기록되는 데이터(메시지)는 일반적으로 **Key(키)**와 **Value(값)**로 구성되며, 필요에 따라 **Timestamp(타임스탬프)**와 같은 추가 정보가 포함될 수 있다. 값(Value)은 문자열, JSON, 바이너리 등 다양한 형식이 될 수 있다. 1. 단순 문자열 메시지json{ "key": "user123", "..

이 페이지에서는 Kafka 를 공부하기 위해 필요한 용어들을 정리한다.이 페이지는 perplexity 를 통해 필자가 어떤 prompt 를 작성하여 공부하는지를 공유한다. ([] 로 표기) Kafka 를 처음 공부 할 때, 공부해야 할 용어들 [Kafka 를 사용하기 위해 필요한 필수 용어들을 알려줘] Kafka 에서 사용되는 기본용어들은 아래와 같다. - 브로커(Broker)Kafka 서버 한 대를 일컫는다. 메시지를 저장하고 관리하는 역할을 한다. 여러 대의 브로커가 모여 클러스터를 구성하며, 데이터를 분산 저장해 확장성과 내결함성을 제공한다. - 프로듀서(Producer)Kafka로 데이터를 보내는 주체이다. 메시지의 생산자 역할을 하며, 애플리케이션이나 서비스가 프로듀서가 되어 브로커에 메시지를 ..

이 페이지에서는 대용량의 데이터를 처리할 목적으로 쓰이는 분산형 스트리밍 플랫폼 Kafka 의 개요 및 기본 아키텍터에 대하여 다룬다. 이 페이지는 아래의 페이지들을 참조하여 작성한다. [1] https://velog.io/@holicme7/Apache-Kafka-%EC%B9%B4%ED%94%84%EC%B9%B4%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80?source=post_page-----bed877e7a3bc--------------------------------------- [2] https://twofootdog.tistory.com/86 [3] https://medium.com/@0joon/10%EB%B6%84%EC%95%88%EC%97%90-%EC%9..