운영 · X12
모니터링과 알림: 평소와 다르면 알리기
공고 48건(52%)이 모니터링·알림을 언급합니다. dbt 테스트는 "규칙 위반"을 잡지만, "평소보다 주문이 70% 적게 들어왔다"는 잡지 못합니다. 날짜별 지표를 쌓고 지난 7일과 비교해 크게 다르면 알림 메시지를 만드는 것까지 해 봤습니다.
# M1. 파이프라인 관측: 날짜별 행 수·취소율·NULL 비율·신선도·모델 실행 시간을 지표 테이블에 쌓고,
# 지난 7일과 크게 다르면 알림 메시지를 만듭니다(실습에서는 보내지 않고 출력만 합니다).
import json, statistics, duckdb
from datetime import datetime
db = duckdb.connect("warehouse.duckdb")
db.execute("""CREATE OR REPLACE TABLE ops_daily_metrics AS
SELECT order_date::DATE AS d, count(*) AS rows, avg((status = 'cancelled')::INT) AS cancel_rate,
avg((region IS NULL)::INT) AS null_region_rate
FROM analytics.fct_orders GROUP BY 1 ORDER BY 1""")
# 실습용 이상 상황: 11/8 적재가 중간에 끊겨 1,180행만 들어온 날을 추가합니다
db.execute("INSERT INTO ops_daily_metrics VALUES (DATE '2026-11-08', 1180, 0.21, 0.0)")
rows = db.execute("SELECT d, rows, cancel_rate FROM ops_daily_metrics ORDER BY d").fetchall()
alerts = []
for i in range(7, len(rows)):
d, n, cr = rows[i]
past = [r[1] for r in rows[i - 7:i]]
mu, sd = statistics.mean(past), statistics.stdev(past)
z = (n - mu) / sd
print(f"{d} 행 {n:5d} 지난 7일 평균 {mu:7.1f} ± {sd:5.1f} z = {z:6.1f}")
if abs(z) > 3:
alerts.append(f":rotating_light: {d} 주문 행 수 {n:,}건 (지난 7일 평균 {mu:,.0f}건, z={z:.1f})")
# 신선도: 가장 최근 변경 시각이 몇 시간 전인지
latest = db.execute("SELECT max(updated_at) FROM analytics.fct_orders").fetchone()[0]
lag_h = (datetime(2026, 11, 9, 9, 0) - latest).total_seconds() / 3600 # 실습 기준 '지금' = 11/9 09:00
print(f"최근 변경 {latest}, 지연 {lag_h:.1f}시간")
if lag_h > 24: alerts.append(f":hourglass: fct_orders 최근 변경이 {lag_h:.0f}시간 전")
# 모델별 실행 시간: dbt가 남기는 run_results.json
rr = json.load(open("shop_dbt/target/run_results.json"))
slow = sorted(((r["unique_id"].split(".")[-1], r["execution_time"]) for r in rr["results"]), key=lambda x: -x[1])[:3]
print("느린 노드 3개:", [(n, round(t, 3)) for n, t in slow])
payload = {"text": "\n".join(alerts) or "이상 없음"}
print("Slack 웹훅으로 보낼 내용:", json.dumps(payload, ensure_ascii=False))python ops/m1_monitor.py
2026-11-08 행 1180 지난 7일 평균 4600.0 ± 324.0 z = -10.6
최근 변경 2026-11-08 09:00:00, 지연 24.0시간
느린 노드 3개: [('customers_snapshot', 0.04), ('status_labels', 0.025), ('fct_orders', 0.016)]
Slack 웹훅으로 보낼 내용: {"text": ":rotating_light: 2026-11-08 주문 행 수 1,180건 (지난 7일 평균 4,600건, z=-10.6)"}
11월 8일에 적재가 중간에 끊겨 1,180행만 들어온 상황을 넣었습니다. 지난 7일 평균 4,600행, 표준편차 324행과 비교해 z = -10.6으로 기준(±3)을 크게 벗어났습니다. 이 날의 데이터는 dbt 테스트(유일·NULL·허용값)를 모두 통과합니다. 행 하나하나는 정상이고 양만 이상하기 때문입니다.
| 지표 | 무엇을 잡나 | 이 교안에서 |
|---|---|---|
| 양(행 수) | 적재 누락·중복 | 이 장 |
| 신선도 | 원천이 멈춤 | D06 dbt source freshness, 이 장 |
| 분포(취소율·NULL 비율) | 원천 로직 변경 | 이 장의 지표 테이블에 쌓음 |
| 규칙 | 틀린 값 | 08장, D04 테스트 |
| 실행 시간 | 느려지는 모델 | run_results.json |
알림은 보내지 않았습니다. Slack 웹훅 주소가 필요해 실습에서는 보낼 내용만 출력했습니다. 실제로는
requests.post(SLACK_WEBHOOK_URL, json=payload)로 보내고, 웹훅 주소는 환경 변수에 둡니다. Airflow에서는 A04장의on_failure_callback에서 같은 함수를 부릅니다.
💡 평균 ± 표준편차는 요일 효과(주말에 주문이 적음)를 모릅니다. 데이터가 쌓이면 "지난 4주의 같은 요일"과 비교합니다. 알림이 너무 자주 오면 사람들이 무시하게 되니, 처음엔 기준을 넉넉히 잡고 줄여 갑니다.
이것만 기억하세요
테스트는 규칙을, 모니터링은 평소와의 차이를 봅니다. 양·신선도·분포·실행 시간을 매일 지표로 쌓고, 크게 벗어나면 알립니다.