시작 · CH00

데이터 엔지니어는 데이터가 믿을 만하게 도착하게 합니다

분석가가 대시보드를 열었을 때 어제 데이터가 빠짐없이, 같은 기준으로 들어 있게 만드는 사람이 데이터 엔지니어입니다. 이 장에서 역할과 이 교안의 전체 지도를 봅니다.


데이터 직군 셋의 차이

데이터 엔지니어데이터 분석가데이터 사이언티스트
주로 하는 질문데이터가 제때, 정확하게 오는가숫자가 왜 이렇게 나왔나앞으로 어떻게 될까, 무엇이 원인인가
결과물파이프라인, 테이블, 테스트리포트, 대시보드, 의사결정 메모모델, 실험 설계
자주 쓰는 도구SQL, Python, dbt, Airflow, 클라우드SQL, BI 도구, 스프레드시트Python, 통계, ML 라이브러리

파이프라인의 네 단계

1

수집: API, 앱 DB, 파일에서 데이터를 가져옵니다. 새로 온 것만 가져오고, 다시 돌려도 중복이 생기지 않게 합니다(04·05장).

2

저장: 웨어하우스나 레이크에 원본(raw)을 그대로 쌓습니다(06장).

3

변환·검증: 원본을 분석하기 좋은 테이블로 바꾸고, 규칙에 어긋난 데이터가 있으면 멈춥니다(07·08장).

4

오케스트레이션: 위 단계를 정해진 시간에 순서대로 돌리고, 실패하면 다시 시도하고 기록합니다(Airflow 모듈, 09장).

2026년에 달라진 점

2026년 10~11월 레딧 데이터 커뮤니티의 인기글을 보면 세 가지 흐름이 반복됩니다. 첫째, ETL 코드 작성은 AI가 많이 대신하고, 사람은 AI가 읽을 데이터의 정의(시맨틱 레이어, 온톨로지)를 만드는 일이 늘었습니다. 둘째, AI가 고친 코드 한 줄이 지워져 몇 주 동안 장애를 쫓았다는 글에 "AI 탓이 아니라 테스트와 리뷰가 없던 탓"이라는 댓글이 가장 많은 추천을 받았습니다. 셋째, 신입 채용은 여전히 어렵고, 면접은 코딩 문제보다 함정이 있는 데이터를 분석하게 하는 사례형으로 바뀌는 회사가 늘었습니다.

세 흐름 모두 같은 역량을 가리킵니다. 데이터가 어디서 와서 어떻게 바뀌었는지 설명할 수 있고, 틀렸을 때 자동으로 드러나게 만드는 능력입니다. 이 교안의 실습은 모두 이 방향으로 짰습니다.

이것만 기억하세요

데이터 엔지니어의 결과물은 "돌아가는 코드"가 아니라 "믿을 수 있는 테이블"입니다. 다시 돌려도 같고, 틀리면 멈추고, 어디서 왔는지 설명되는 테이블입니다.

다음
01. 실습 환경과 데이터
이어보기 →