Airflow · A05

공공 날씨 API를 매시간 모으기

인증키 없이 쓰는 Open-Meteo 날씨 API에서 서울의 시간별 기온·강수량을 받아, 건수를 확인하고, DuckDB 파일에 저장하는 DAG를 만듭니다. 실무 파이프라인의 기본 모양인 "받기 → 확인 → 저장"입니다.


준비

저장소로 쓸 DuckDB를 Airflow와 같은 가상환경에 설치합니다. 실습에서는 파일 하나로 된 데이터베이스면 충분합니다.

pip install duckdb

DAG 파일

seoul_weather.py 하나에 DAG 두 개가 들어 있습니다. 이 장에서는 위쪽 seoul_weather_collect를 보고, 아래쪽 seoul_weather_report는 A06장에서 봅니다.

from datetime import datetime, timedelta
import json
import urllib.request

import duckdb
from airflow.sdk import Asset, dag, task

DB_PATH = "/tmp/airflow_lesson/weather.duckdb"
weather_table = Asset("duckdb://weather/seoul_hourly")

URL = (
    "https://api.open-meteo.com/v1/forecast"
    "?latitude=37.5665&longitude=126.978"
    "&hourly=temperature_2m,precipitation&timezone=Asia%2FSeoul&forecast_days=2"
)


@dag(
    schedule="0 * * * *",               # 매시 정각
    start_date=datetime(2026, 11, 1),
    catchup=False,
    default_args={"retries": 2, "retry_delay": timedelta(minutes=1)},
    tags=["교안"],
)
def seoul_weather_collect():
    @task
    def fetch():
        with urllib.request.urlopen(URL, timeout=20) as r:
            data = json.load(r)
        h = data["hourly"]
        return [
            {"ts": t, "temp": temp, "rain": rain}
            for t, temp, rain in zip(h["time"], h["temperature_2m"], h["precipitation"])
        ]

    @task
    def check(rows):
        if len(rows) < 24:
            raise ValueError(f"받은 행이 {len(rows)}개뿐입니다. 24개 이상이어야 합니다.")
        return rows

    @task(outlets=[weather_table])
    def save(rows):
        import os
        os.makedirs(os.path.dirname(DB_PATH), exist_ok=True)
        con = duckdb.connect(DB_PATH)
        con.execute("CREATE TABLE IF NOT EXISTS seoul_hourly (ts TIMESTAMP PRIMARY KEY, temp DOUBLE, rain DOUBLE)")
        con.executemany(
            "INSERT OR REPLACE INTO seoul_hourly VALUES (?, ?, ?)",
            [(r["ts"], r["temp"], r["rain"]) for r in rows],
        )
        n = con.execute("SELECT count(*) FROM seoul_hourly").fetchone()[0]
        con.close()
        return n

    save(check(fetch()))


@dag(schedule=[weather_table], start_date=datetime(2026, 11, 1), catchup=False, tags=["교안"])
def seoul_weather_report():
    @task
    def summarize():
        con = duckdb.connect(DB_PATH, read_only=True)
        rows = con.execute("""
            SELECT CAST(ts AS DATE) AS day, round(min(temp),1), round(max(temp),1), round(sum(rain),1)
            FROM seoul_hourly GROUP BY 1 ORDER BY 1
        """).fetchall()
        con.close()
        for day, lo, hi, rain in rows:
            print(f"{day} 최저 {lo}도 / 최고 {hi}도 / 강수 {rain}mm")
        return len(rows)

    summarize()


seoul_weather_collect()
seoul_weather_report()

세 태스크가 나눠 맡는 일

1

fetch: API에서 이틀 치 시간별 데이터를 받아 행 목록으로 바꿉니다. 네트워크 오류는 DAG의 retries가 처리합니다.

2

check: 24행보다 적으면 일부러 실패시킵니다. 응답 형식이 바뀌었을 때 빈 데이터가 저장되는 것을 막습니다.

3

save: 시각(ts)을 기본키로 INSERT OR REPLACE합니다. 같은 시각을 여러 번 받아도 중복이 쌓이지 않으니, 재시도나 백필을 해도 결과가 같습니다.

fetch, check, save 세 태스크가 성공한 그래프
실제 실행: fetch → check → save가 모두 성공했습니다.

3번이 실무에서 가장 중요합니다. 같은 실행을 두 번 돌려도 결과가 같아야(멱등성) 실패 후 재시도와 백필을 마음 놓고 쓸 수 있습니다. 매번 행을 덧붙이기만 하면 재시도할 때마다 데이터가 두 배가 됩니다.

저장 위치는 실습용입니다. 예제는 /tmp/airflow_lesson/weather.duckdb에 저장합니다. 실제로는 데이터웨어하우스나 오브젝트 스토리지에 쓰고, 접속 정보는 코드에 적지 않고 Airflow의 Connection에 넣습니다.

이것만 기억하세요

파이프라인은 받기 → 확인 → 저장으로 나누고, 저장은 몇 번을 다시 돌려도 결과가 같게 만듭니다.

다음
A06. Asset으로 DAG 잇기
이어보기 →