Airflow · A07

3.4 새 기능: Task Loops와 AI 작업

Airflow 3.4.0(2026-11-06)에는 "조건을 만족할 때까지 반복"하는 Task Loops가 들어왔고, LLM 호출과 에이전트를 일반 태스크처럼 쓰는 Common AI provider가 정식 버전이 됐습니다.


Task Loops: 끝날 때까지 반복

지금까지 DAG는 모양이 고정이라 "오차가 작아질 때까지", "다음 페이지가 없을 때까지" 같은 반복을 표현하기 어려웠습니다. 3.4부터는 @task_group에 .loop()를 붙여 반복합니다. 아래는 공식 예제를 줄인 것으로, √2 근삿값을 오차가 0.000001보다 작아질 때까지 고칩니다.

from datetime import datetime
from airflow.sdk import LoopDecision, dag, task, task_group


@dag(schedule=None, start_date=datetime(2026, 11, 1), catchup=False, tags=["교안"])
def loop_refine_sqrt2():
    @task_group
    def refine():
        @task
        def improve(*, loop):
            estimate = 1.0 if loop.index == 1 else loop.previous["estimate"]
            return (estimate + 2.0 / estimate) / 2.0

        @task
        def evaluate(estimate):
            return {"estimate": estimate, "error": abs(estimate * estimate - 2.0)}

        evaluate(improve())

    def accurate_enough(*, loop):
        error = loop.result["error"]
        if error < 1e-6:
            return LoopDecision(stop=True, reason=f"오차 {error:.2g}, 충분히 작아서 멈춤")
        return LoopDecision(stop=False, reason=f"오차 {error:.2g}, 한 번 더")

    @task
    def report(results):
        print(f"{len(results)}번 반복, 마지막 추정값 {results[-1]['estimate']}")

    refinement = refine.loop(max_iterations=10, until=accurate_enough)
    report(refinement["evaluate"].output)


loop_refine_sqrt2()
반복 탭에 4번의 반복과 각 판단 이유가 표시된 화면
실제 실행: 4번째 반복에서 오차 4.5e-12로 멈췄습니다. 반복 탭에 회차별 상태와 판단 이유(Decision)가 남습니다.

AI 작업을 태스크로: Common AI provider

3.4와 함께 apache-airflow-providers-common-ai 1.1.0이 정식(GA)이 됐습니다. @task.llm으로 모델 호출을, @task.agent로 도구를 쓰는 에이전트를 태스크처럼 넣고, 사람이 결과를 승인하거나 고칠 점을 적어 다시 돌리게 할 수 있습니다. 공식 문서에는 Task Loops와 묶어 "초안 작성 → 사람 검토 → 승인될 때까지 반복"하는 예제가 있습니다.

@task.llm(llm_conn_id="pydanticai_default",
          system_prompt="개발자 플랫폼 사용자에게 릴리스 노트를 씁니다. 평이하고 구체적으로.")
def write(*, loop):
    return "이 변경에 대한 한 문장 릴리스 노트를 써 주세요: ..."

이 부분은 직접 돌리지 않았습니다. 모델 API 키와 Connection 설정이 필요해 이 교안에서는 문서 예제를 소개만 합니다. 같은 3.4에서 TypeScript·Go·Java로 DAG 전체를 쓰는 기능도 나왔지만, 릴리스 노트에서 실험(experimental) 기능으로 분류돼 API가 바뀔 수 있습니다.

이것만 기억하세요

반복 횟수를 미리 모르는 작업은 3.4의 .loop(max_iterations=..., until=...)로 씁니다. 상한은 반드시 정합니다.

다음
A08. Airflow 2 코드 옮기기
이어보기 →