CDC4 [Data Engineering Lab] #10. Redash를 사용하여 실시간 분석 Dashboard 만들기 (BI) 0. 서론우리는 지금까지 꽤 먼길을 달려왔습니다. MacBook의 리소스 한계를 극복하기 위해 Vagrant를 버리고 Docker로 전환했고,실제 서버환경 처럼 사용하기 위해 컨테이너마다 고정 IP를 부여했습니다.그리고 MariaDB의 변화를 감지해 StarRocks까지 0.1초 단위로 데이터를 밀어 넣는 실시간 CDC 파이프라인을 설계했습니다. 하지만 데이터 엔지니어링의 끝은 '적재'가 아닙니다. 아무리 정교한 파이프라인이라도 숫자가 담긴 테이블에 머물러 있다면 의사결정자에게는 데이터 조각일 뿐입니다.이번 시리즈의 마지막 포스팅에서는 StarRocks에 쌓이는 실시간 데이터를 Redash BI와 연동하여, 주문 즉시 지표가 요동치는 운영 대시보드를 만들어 보겠습니다.1. Redash 선택 이유대시보드 .. 2026. 1. 26. [Data Engineering Lab] #9. Routine Load를 사용하여 Kafka 데이터를 StarRocks에 실시간으로 적재하기 안녕하세요. 지난 포스팅(https://tedi.tistory.com/61)에서 Debeziun 커넥터를 띄우고 이를 사용하여 "MariaDB (source) -> Debezium -> Kafka" 형태의 CDC 파이프라인 구축해 보았습니다. 이번에는 이 파이프라인의 핵심인 분석(Analytics) 단계입니다. Kafka에 쌓이고 있는 이커머스 주문 이벤트 데이터를 StarRock가 실시간으로 읽어들여(Consume), 분석용 테이블에 적재(Upsert)하는 과정을 다뤄보겠습니다.1. 구현 목표상황: 이커머스 쇼핑몰에서 주문이 발생하면 MariaDB에 데이터가 생성됩니다.흐름: Debezium이 이 변경사항(CDC)을 감지하여 Kafka Topic(orders_topic)에 JSON 포맷으로 발행합니다... 2026. 1. 16. [Data Engineering Lab] #8. Debezium 커넥터 등록하기: MariaDB와 Kafka CDC 구현하기 지난 포스팅에서 Binlog가 활성화된 MariaDB에 실시간 이커머스 트래픽 데이터를 생성 및 저장하는 과정을 구현하였습니다.이번 시간에는 Debezium MariaDB Connecto 통해 MariaDB에 저장된 데이터를 실시간으로 Kafka에 전송하는 과정을 구현해보겠습니다.1. 구현 목표소스데이터인 MariaDB(Mysql)에서 발생하는 Create, Update, Delete 로그를 debezium connector가 읽어 Kafka Topic을 생성하여 메세지를 전달하는 것까지가 목표입니다.2. Debezium 이란?Debezium은 데이터베이스의 변경 사항(INSERT, UPDATE, DELETE)을 실시간으로 감지(Capture)하여, 이를 이벤트 스트리 형태로 Kafka에 전송해 주는 오.. 2026. 1. 13. [Data Engineering Lab] #7. 실시간 이커머스 트래픽 생성기 실제 이커머스 서비스 환경을 재현하기 위한 데이터 스키마 설계와 트래픽 생성기 파이썬 코드를 구현하도록 하겠습니다.1. 데이터 설계users: 서비스를 이용하는 고객 정보products: 판매되는 상품정보orders: 고객이 상품을 구매할 때 발생하는 핵심 트랜잭션 데이터DDLUSE demo_db;-- 1. 유저 테이블CREATE TABLE IF NOT EXISTS users ( id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(100), email VARCHAR(100), created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP);-- 2. 상품 테이블 (기초 데이터)CREATE TABLE IF NOT EXISTS pr.. 2026. 1. 2. 이전 1 다음
