스트리밍 · X05

스트림 처리: 시간 창과 늦게 온 이벤트

"10분마다 주문 수"를 실시간으로 내려면, 이벤트가 발생한 시각 기준으로 창(window)을 나누고 언제 그 창을 확정할지 정해야 합니다. 늦게 도착한 이벤트 3건을 일부러 섞어, 허용 지연을 0분과 40분으로 두고 결과를 비교했습니다.


두 가지 시각

시각뜻예
발생 시각(event time)주문이 실제로 일어난 시각ordered_at 09:01
처리 시각(processing time)파이프라인이 그 이벤트를 받은 시각모바일 앱이 오프라인이었다가 09:45에 전송

처리 시각으로 세면 계산은 쉽지만, 늦게 온 주문이 엉뚱한 창에 들어갑니다. 그래서 보통 발생 시각으로 창을 나누고, 워터마크(지금까지 본 가장 늦은 발생 시각 - 허용 지연)가 창 끝을 지나면 그 창을 확정합니다.

# K3. 11/1 09:00~10:00 주문을 '발생 시각' 순서로 보내되, 3건은 30분 늦게 도착시킵니다.
import csv, json
from confluent_kafka import Producer
rows = [r for r in csv.DictReader(open("../landing/orders/orders_2026-11-01.csv", encoding="utf-8"))
        if "2026-11-01 09:00:00" <= r["ordered_at"] < "2026-11-01 10:00:00"]
rows.sort(key=lambda r: r["ordered_at"])
late = [r for r in rows if r["ordered_at"] < "2026-11-01 09:10:00"][:3]   # 09:0x 주문 3건
stream = [r for r in rows if r not in late]
cut = next(i for i, r in enumerate(stream) if r["ordered_at"] >= "2026-11-01 09:40:00")
stream = stream[:cut] + late + stream[cut:]                                # 09:40 이후에 끼워 넣음
p = Producer({"bootstrap.servers": "localhost:9092"})
for r in stream:
    p.produce("order_events", key=r["order_id"], value=json.dumps({"order_id": r["order_id"], "qty": int(r["qty"]), "event_time": r["ordered_at"]}))
p.flush()
print(f"보낸 이벤트 {len(stream)}건, 늦게 도착시킨 주문 {[r['order_id'] + ' ' + r['ordered_at'][11:] for r in late]}")
# K4. 10분 단위 창(tumbling window)으로 주문 수량을 집계합니다.
# 워터마크 = 지금까지 본 가장 늦은 발생 시각 - 허용 지연. 창 끝이 워터마크보다 과거면 결과를 확정합니다.
import json, sys, duckdb
from datetime import datetime, timedelta
from confluent_kafka import Consumer
lateness = timedelta(minutes=int(sys.argv[1]))
W = timedelta(minutes=10)
c = Consumer({"bootstrap.servers": "localhost:9092", "group.id": f"window-{sys.argv[1]}", "auto.offset.reset": "earliest"})
c.subscribe(["order_events"])
open_windows, closed, late_rows, max_t, idle = {}, {}, [], None, 0
def win_start(t): return t.replace(minute=t.minute // 10 * 10, second=0)
while idle < 10:
    m = c.poll(1.0)
    if m is None: idle += 1; continue
    idle = 0
    e = json.loads(m.value()); t = datetime.fromisoformat(e["event_time"]); ws = win_start(t)
    max_t = max(max_t or t, t); watermark = max_t - lateness
    if ws in closed:                       # 이미 확정한 창에 온 이벤트 = 너무 늦음
        late_rows.append((e["order_id"], e["event_time"])); continue
    agg = open_windows.setdefault(ws, [0, 0]); agg[0] += 1; agg[1] += e["qty"]
    for s in [s for s in open_windows if s + W <= watermark]:   # 워터마크를 지난 창 확정
        closed[s] = open_windows.pop(s)
closed.update(open_windows)               # 스트림 끝: 남은 창도 확정
c.close()
db = duckdb.connect("stream.duckdb")
db.execute("CREATE OR REPLACE TABLE win_%s AS SELECT * FROM (VALUES %s) t(window_start, orders, qty)" % (sys.argv[1],
           ",".join(f"(TIMESTAMP '{s}', {a[0]}, {a[1]})" for s, a in sorted(closed.items()))))
print(f"허용 지연 {sys.argv[1]}분")
for s, a in sorted(closed.items()): print(f"  {s:%H:%M}~ 주문 {a[0]:3d}건 수량 {a[1]:3d}")
print(f"  버린 늦은 이벤트 {len(late_rows)}건 {late_rows}")
보낸 이벤트 151건, 늦게 도착시킨 주문 ['100152 09:01:04', '101110 09:01:21', '102413 09:02:10']

허용 지연 0분
  09:00~ 주문  17건 수량  33
  09:10~ 주문  21건 수량  45
  ...
  버린 늦은 이벤트 3건
허용 지연 40분
  09:00~ 주문  20건 수량  39
  09:10~ 주문  21건 수량  45
  ...
  버린 늦은 이벤트 0건
정답(원본 CSV): 09:00 20건, 09:10 21건, 09:20 22건, 09:30 25건, 09:40 30건, 09:50 33건

허용 지연이 0분이면 09:00 창을 일찍 확정해 버려 늦게 온 3건을 버렸고, 결과(17건)가 정답(20건)과 달랐습니다. 40분을 허용하니 정답과 같아졌습니다. 대신 09:00 창 결과는 09:50 이후 이벤트를 볼 때까지 확정되지 않습니다. 정확도와 지연 시간을 맞바꾸는 설정이고, 원천 시스템이 얼마나 늦게 보내는지를 보고 정합니다. 버린 이벤트는 따로 모아 배치로 다시 보정하는 경우가 많습니다.

실무 도구: 이 실습은 원리를 보려고 파이썬으로 직접 짰습니다. 실무에서는 Apache Flink, Spark Structured Streaming, Kafka Streams가 창·워터마크·상태 저장·장애 복구를 대신 해 줍니다. 공고에서는 Flink와 Kinesis가 함께 언급됩니다. 이 도구들은 직접 돌리지 않았습니다.

이것만 기억하세요

스트림 집계는 발생 시각으로 창을 나누고, 워터마크로 언제 확정할지 정합니다. 허용 지연을 늘리면 정확해지고 늦어집니다.

다음
X06. CDC: 운영 DB 변경 따라가기
이어보기 →