확장 · CH12

운영·비용·보안

파이프라인을 만든 다음부터가 실제 일입니다. 매일 데이터가 제때 왔는지 확인하고, 클라우드 비용을 관리하고, 접속 정보를 지키는 기본을 정리합니다. 2026년 11월 Airbyte 보안 사고를 사례로 봅니다.


매일 확인할 네 가지

신선도

마지막 적재 시각이 기준보다 늦지 않은가. dbt의 source freshness나 09장 같은 확인 태스크로 봅니다.

양

오늘 들어온 행 수가 평소 범위 안인가. 0행이나 평소의 10배는 대부분 사고입니다.

규칙

dbt 테스트가 모두 통과했는가(08장).

실패 알림

실패하면 사람이 바로 아는가. Airflow 실패 알림을 슬랙·메일로 연결합니다.

비용

클라우드 웨어하우스는 대부분 읽은 데이터 양이나 켜 둔 시간으로 과금합니다. 03장의 Parquet처럼 필요한 열만 읽게 하고, 날짜로 파티션을 나누고, 이미 만든 테이블을 다시 만들지 않는 것(증분 모델)이 비용을 줄이는 기본입니다. 레딧에서는 "오케스트레이터 클라우드 요금이 Snowflake 비용의 2배로 견적이 나왔다"는 글이 많은 공감을 받았습니다. 도구를 고를 때 사용량이 늘었을 때의 요금도 같이 봅니다.

보안: Airbyte 사고에서 배울 것

Airbyte는 2026년 11월 17일 "전 세계적인 사이버 공격의 일부로 보이는 보안 사고"를 발표하고 Airbyte Cloud를 내렸습니다. 회사 발표로는 고객 1% 미만이 처음 공격에 영향을 받았고, 11월 20일 공지 기준 대부분의 동기화는 돌아왔지만 API 소스와 SSO 로그인은 아직 중단 상태였습니다. 수집 도구에는 여러 시스템의 접속 정보가 모이므로, 사고가 나면 영향이 넓습니다.

1

최소 권한: 수집 도구에 주는 DB 계정은 읽기 전용, 필요한 스키마만.

2

비밀값 분리: 비밀번호·API 키는 코드나 Git에 넣지 않고 Airflow Connection, 클라우드 시크릿 매니저에 둡니다.

3

교체 계획: 사고 공지가 나면 어떤 자격 증명을 어떤 순서로 바꿀지 미리 적어 둡니다.

4

대안 경로: SaaS 수집 도구가 멈췄을 때 직접 돌릴 수 있는 스크립트(04장 같은)를 남겨 둡니다.

이것만 기억하세요

운영은 신선도·양·규칙·알림 네 가지를 매일 자동으로 확인하는 것에서 시작합니다. 접속 정보는 최소 권한으로 주고 코드 밖에 둡니다.

다음
X01. 데이터 엔지니어의 파이썬
이어보기 →