dbt 심화 · D06

신선도 확인과 문서 사이트

원천 데이터가 제때 들어왔는지 dbt로 확인하고, 프로젝트 전체를 문서 사이트로 만듭니다. dbt 2.0에서는 설정 위치가 바뀐 부분이 있어 실제로 오류를 겪었습니다.


원천 신선도

sources:
  - name: raw
    schema: raw
    tables:
      - name: orders
        config:
          loaded_at_field: updated_at
          freshness:
            warn_after: {count: 1, period: day}
            error_after: {count: 3, period: day}
      - name: customers
      - name: products

dbt 2.0 문법: 처음에 dbt 1.x 예제처럼 loaded_at_field를 테이블 바로 아래에 적었더니 UnusedConfigKey (dbt1060) 오류로 빌드가 멈췄습니다. dbt 2.0에서는 config: 안에 넣어야 합니다. 옛 예제를 가져올 때 dbt가 제안하는 dbt-autofix 스크립트로 먼저 점검합니다.

dbt source freshness

[warning] loaded_at_field has a timestamp type without a timezone, we will assume a UTC timezone
[error] [StaleSource (dbt1063)]: Stale source source.shop.raw.orders
Finished 'freshness' with 1 warning and 1 error 

실습 데이터의 마지막 변경 시각이 11월 8일이라 "3일 넘게 안 들어옴"으로 오류가 났습니다. 이렇게 멈춰야 정상입니다. 경고도 눈여겨볼 만합니다. 시간대 없는 시각을 UTC로 간주한다는 내용인데, 이 데이터는 서울 시간이라 실제 지연보다 9시간 덜 늦은 것으로 계산됩니다(05장과 같은 시간대 문제). 09장 DAG의 첫 단계로 dbt source freshness를 넣으면 오래된 데이터로 리포트를 만드는 일을 막습니다.

문서 사이트

dbt docs generate --static-analysis strict
# target/ 폴더를 아무 정적 파일 서버에 올리면 문서 사이트가 됩니다
dbt docs serve                     # 내 컴퓨터에서 바로 보기
dbt docs v2에서 fct_daily_sales 모델의 계보를 보는 화면
dbt 2.0의 새 문서 사이트(docs v2). fct_daily_sales가 stg_customers·stg_orders·stg_products에서 만들어진다는 계보가 그려집니다.

dbt 2.0의 문서 사이트는 13장의 정보 스키마(Parquet 파일)를 브라우저 안의 DuckDB로 읽어 보여 줍니다. 모델 6개, 소스 3개, 테스트 10개, seed 1개, 스냅샷 1개가 목록에 잡혔습니다. dbt 안내대로 target/에는 컴파일된 SQL과 저장된 테스트 실패 결과도 들어 있으니, 외부에 공개할 때는 내용을 먼저 확인합니다.

모델 설명(description)이 비어 있으면 문서에 "This resource does not have a description"으로 나옵니다. yml에 description을 적어 두면 문서와 AI 에이전트가 같은 설명을 읽습니다.

이것만 기억하세요

dbt source freshness로 원천이 늦으면 멈추고, dbt docs generate로 계보와 설명을 문서로 남깁니다. dbt 2.0에서는 설정을 config: 안에 넣습니다.

다음
A00. Airflow 모듈 시작
이어보기 →