캡스톤: 적재 → dbt → 확인을 Airflow로
04장의 적재, 07·08장의 dbt, 결과 확인을 Airflow DAG 하나로 묶어 매일 오전 6시(서울)에 돌게 합니다. 실제로 한 번은 실패하고 한 번은 성공했는데, 두 실행 모두 교안에 그대로 남겼습니다.
폴더 배치
$AIRFLOW_HOME/
├── dags/shop_pipeline.py
└── shop/
├── ingest.py
├── landing/ # 주문 파일이 도착하는 곳
├── warehouse.duckdb # 첫 실행 때 생김
└── shop_dbt/
Airflow와 같은 가상환경에 duckdb와 dbt를 설치해 두고, dbt 명령이 터미널에서 실행되는지 먼저 확인합니다.
DAG
"""쇼핑몰 주문 파이프라인: 새 주문 파일 적재 → dbt로 변환·테스트 → 결과 확인.
$AIRFLOW_HOME/shop 폴더에 landing/, ingest.py, shop_dbt/ 가 있다고 가정한다."""
import os
import subprocess
from datetime import timedelta
from pathlib import Path
import pendulum
from airflow.sdk import Asset, dag, task
SHOP = Path(os.environ.get("AIRFLOW_HOME", Path.home() / "airflow")) / "shop"
daily_sales = Asset("duckdb://warehouse/analytics.fct_daily_sales")
def run(cmd, cwd):
"""명령을 실행하고 출력 마지막 부분을 로그에 남긴다. 실패하면 태스크도 실패."""
r = subprocess.run(cmd, cwd=cwd, capture_output=True, text=True)
print(r.stdout[-3000:])
if r.returncode != 0:
print(r.stderr[-3000:])
raise RuntimeError(f"{' '.join(cmd)} 실패 (exit {r.returncode})")
return r.stdout
@dag(
schedule="0 6 * * *", # 매일 오전 6시(서울)
start_date=pendulum.datetime(2026, 11, 1, tz="Asia/Seoul"),
catchup=False,
default_args={"retries": 1, "retry_delay": timedelta(minutes=5)},
tags=["교안", "데이터엔지니어"],
)
def shop_pipeline():
@task
def ingest_new_files():
out = run(["python3", "ingest.py", "warehouse.duckdb"], cwd=SHOP)
return out.strip().splitlines()[-1]
@task(outlets=[daily_sales])
def dbt_build(_ingest_result):
# 테스트가 하나라도 실패하면 dbt가 0이 아닌 코드로 끝나고, 이 태스크가 실패한다.
run(["dbt", "build", "--profiles-dir", "."], cwd=SHOP / "shop_dbt")
@task
def check_result():
import duckdb
con = duckdb.connect(str(SHOP / "warehouse.duckdb"), read_only=True)
days, revenue = con.execute(
"SELECT count(DISTINCT order_date), sum(revenue) FROM analytics.fct_daily_sales"
).fetchone()
con.close()
if days == 0:
raise ValueError("매출 테이블이 비어 있습니다")
print(f"집계된 날짜 {days}일, 총매출 {revenue:,}원")
return {"days": days, "revenue": int(revenue)}
dbt_build(ingest_new_files()) >> check_result()
shop_pipeline()
- 계산은 모두
ingest.py와 dbt에 있고, DAG는 순서와 실패 처리만 맡습니다(A00장의 원칙). - dbt 테스트가 실패하면 dbt가 0이 아닌 종료 코드를 내고,
run()이 예외를 던져 태스크가 실패합니다. outlets=[daily_sales]로 매출 테이블 갱신을 Asset 이벤트로 남겨, 리포트 DAG를 이어 붙일 수 있습니다(A06장).
첫 실행: 실패

로그에는 07장과 같은 database file with version number 999 오류가 있었습니다. Airflow 환경에는 DuckDB 2.0.1이 설치돼 있어서, 적재 태스크가 처음 만든 warehouse.duckdb가 2.0 형식이 됐고 dbt가 읽지 못한 것입니다. ingest.py에 storage_compatibility_version="v1.5.0"을 넣고 파일을 지운 뒤 다시 돌렸습니다.
두 번째 실행: 성공

airflow dags test shop_pipeline
새 파일 7개 적재, raw.orders 전체 32,200행
Finished 'build' successfully for target 'dev'
Summary: 11 total | 11 success
집계된 날짜 7일, 총매출 558,604,500원
내 Airflow 3.4 DAG(shop_pipeline)에 단계를 하나 추가해줘. dbt build가 성공한 뒤, analytics.fct_daily_sales에서 어제 날짜 매출이 그 전 7일 평균의 50% 미만이거나 200% 초과면 태스크를 실패시키는 check_anomaly 태스크야. from airflow.sdk 문법을 유지하고, 기준값은 DAG 맨 위 상수로 빼 줘. 다 쓰면 airflow dags test 로 확인하는 방법도 알려줘.
DAG는 순서와 실패만 관리하고, 일은 스크립트와 dbt가 합니다. 실패한 실행을 지우지 말고 원인과 함께 남기면 그것이 포트폴리오에서 가장 설득력 있는 부분이 됩니다.