확장 · CH11
배치, 스트리밍, CDC
지금까지는 하루에 한 번 모아서 처리하는 배치였습니다. 몇 초 안에 반영돼야 하는 데이터는 스트리밍으로, 운영 DB의 변경을 그대로 따라가야 하면 CDC로 처리합니다. 이 장은 개념과 선택 기준만 다루며, 실습은 하지 않았습니다.
| 방식 | 지연 | 맞는 경우 | 대표 도구 |
|---|---|---|---|
| 배치 | 시간~하루 | 일일 매출, 정산, 리포트 | Airflow + dbt (이 교안) |
| 마이크로배치 | 수십 초~분 | 준실시간 대시보드 | Spark Structured Streaming |
| 스트리밍 | 밀리초~초 | 이상거래 탐지, 실시간 추천 | Kafka, Flink, Spark Real-Time Mode |
| CDC | 초~분 | 운영 DB 변경을 웨어하우스에 그대로 반영 | Debezium, Fivetran·Airbyte 같은 수집 도구 |
CDC는 04장 upsert의 확장입니다
CDC(Change Data Capture)는 운영 DB의 변경 로그를 읽어 "어떤 행이 추가·수정·삭제됐는지"를 이벤트로 받는 방식입니다. 받은 이벤트를 키 기준으로 덮어쓰는 부분은 04장의 ON CONFLICT ... DO UPDATE와 같은 원리입니다. 차이는 삭제도 이벤트로 온다는 점과, 순서가 뒤바뀌어 도착할 수 있어 변경 시각이나 순번으로 최신 여부를 판단해야 한다는 점입니다.
2026년 소식
- Spark 4.3(2026-10-30)은 실시간 모드에서 집계·중복 제거 같은 상태 처리를 지원하고, 공식 벤치마크에서 종단 지연을 100밀리초 안팎으로 발표했습니다.
- 같은 버전에 이력을 보존하는 SCD Type 2 Auto CDC가 들어왔습니다. 고객이 지역을 옮기면 예전 행을 닫고 새 행을 여는 방식입니다.
- 2026년 10월 Kafka 4.4가 나왔습니다(r/dataengineering 10월 링크 모음 기준).
먼저 배치로 충분한지 묻습니다. 실시간이 필요하다는 요청의 상당수는 "매시간" 또는 "15분마다"로 해결됩니다. 스트리밍은 운영 부담이 크므로, 지연 요구가 분 단위 이하일 때 검토합니다.
💡 이 장은 개념 정리입니다. Kafka를 직접 띄워 보는 실습은 X04, 시간 창과 늦은 이벤트는 X05, 삭제까지 따라가는 CDC는 X06에 있습니다.
이것만 기억하세요
지연 요구가 시간 단위면 배치, 초 단위면 스트리밍, 운영 DB를 그대로 따라가야 하면 CDC. CDC의 핵심은 04장의 "키 기준 최신 값 반영"입니다.