Airflow · A04

실패하면 다시 시도하게 하기

외부 API는 가끔 응답하지 않습니다. 태스크가 실패했을 때 정해 둔 횟수만큼 다시 시도하게 하고, DAG 파일 자체에 오류가 있을 때 어디서 확인하는지 봅니다.


retries와 retry_delay

아래 DAG는 첫 시도에서 일부러 실패하고, 10초 뒤 두 번째 시도에서 성공합니다. 실제로는 API 호출이나 파일 다운로드처럼 잠깐의 오류가 잦은 태스크에 재시도를 겁니다.

from datetime import datetime, timedelta
from airflow.sdk import dag, task, get_current_context


@dag(schedule=None, start_date=datetime(2026, 11, 1), catchup=False, tags=["교안"])
def retry_demo():
    @task(retries=2, retry_delay=timedelta(seconds=10))
    def flaky_api_call():
        ti = get_current_context()["ti"]
        if ti.try_number == 1:
            raise ConnectionError("API 서버가 잠깐 응답하지 않았습니다 (1번째 시도)")
        print(f"{ti.try_number}번째 시도에서 성공했습니다")
        return "ok"

    flaky_api_call()


retry_demo()
시도 횟수 1은 실패, 2는 성공으로 표시된 태스크
태스크 시도 횟수에 1번 실패(빨강), 2번 성공(초록)이 남습니다. 숫자를 누르면 그 시도의 로그를 따로 볼 수 있습니다.

DAG의 모든 태스크에 같은 재시도 규칙을 주려면 @dag(default_args={"retries": 2, "retry_delay": timedelta(minutes=1)})처럼 DAG에 적습니다. A05장의 날씨 수집 DAG가 이 방식입니다.

재시도하면 안 되는 실패도 있습니다

재시도는 잠깐의 오류에만 효과가 있습니다. 데이터가 비어 있거나 형식이 틀린 경우는 몇 번을 다시 해도 같은 결과입니다. 이런 경우는 A05장의 check 태스크처럼 조건을 확인해 일부러 실패시키고, 사람이 보게 합니다. 성공으로 넘어가 빈 표가 쌓이는 것보다 빨간 실패 하나가 낫습니다.

DAG 파일 자체가 깨졌을 때

괄호를 하나 안 닫는 것처럼 파일에 문법 오류가 있으면 DAG가 목록에 아예 나타나지 않습니다. 이때는 목록 위의 빨간 숫자 배지를 누르면 어느 파일 몇 번째 줄이 문제인지 보입니다. 터미널에서는 airflow dags list-import-errors로 같은 내용을 봅니다.

Dag 가져오기 오류 대화상자
실습용으로 일부러 깨뜨린 파일: 11번째 줄 괄호가 닫히지 않았다고 알려 줍니다.
이것만 기억하세요

잠깐의 오류는 retries로 넘기고, 데이터가 틀린 경우는 일부러 실패시켜 드러냅니다. DAG가 안 보이면 가져오기 오류부터 확인합니다.

다음
A05. API → 검증 → 저장
이어보기 →