시작 · CH01
실습 환경과 쇼핑몰 데이터 준비
노트북 한 대에 Python 가상환경을 만들고, 교안 내내 쓰는 가상 쇼핑몰 데이터(고객 5천 명, 상품 200개, 7일치 주문 파일)를 만듭니다. 서버나 클라우드 계정은 필요 없습니다.
1. 가상환경과 패키지
Python 3.11 이상이 필요합니다. 교안 확인에 쓴 버전을 그대로 적었습니다.
python3 -m venv de-venv
source de-venv/bin/activate
pip install "duckdb==2.0.1" "polars==2.1.0" pyarrow pandas
dbt(07장), dlt(05장), Airflow(A01장)는 해당 장에서 설치합니다. 도구마다 따로 쓰는 DuckDB 버전이 달라서 생기는 문제가 실제로 있었고, 그 장에서 같이 다룹니다.
2. 실습 키트 받기
de-kit.zip을 받아 압축을 풀면 아래 파일이 있습니다.
de-kit/
├── make_data.py # 01장: 가상 데이터 생성
├── ingest.py # 04장: 증분 적재
├── dlt/weather_dlt.py # 05장: dlt로 API 수집
├── shop_dbt/ # 07·08장: dbt 프로젝트
└── dags/shop_pipeline.py # 09장: Airflow 캡스톤
3. 데이터 만들기
make_data.py는 DuckDB SQL만으로 데이터를 만듭니다. 같은 seed를 쓰므로 누가 돌려도 같은 데이터가 나옵니다.
# 실습용 가상 쇼핑몰 데이터: 고객·상품·주문(일별 파일). 같은 seed면 항상 같은 데이터.
import duckdb, os
os.makedirs("landing/orders", exist_ok=True)
con = duckdb.connect()
con.execute("SELECT setseed(0.42)")
con.execute("""
CREATE TABLE customers AS
SELECT i AS customer_id,
'고객' || lpad(i::VARCHAR, 5, '0') AS name,
(['서울','경기','부산','인천','대구','광주','대전'])[1 + (hash(i) % 7)::BIGINT] AS region,
DATE '2025-01-01' + to_days(((hash(i*7) % 600)::BIGINT)::INTEGER) AS signup_date
FROM range(1, 5001) t(i)""")
con.execute("""
CREATE TABLE products AS
SELECT i AS product_id,
(['간식','음료','생활','주방','문구'])[1 + (i % 5)] AS category,
'상품' || lpad(i::VARCHAR, 3, '0') AS product_name,
(1000 + (hash(i) % 40)::BIGINT * 500)::INTEGER AS price
FROM range(1, 201) t(i)""")
con.execute("COPY customers TO 'landing/customers.csv' (HEADER)")
con.execute("COPY products TO 'landing/products.csv' (HEADER)")
for d in range(1, 8):
day = f"2026-11-{d:02d}"
n = 4000 + d * 150
con.execute(f"""
COPY (
SELECT {d}*100000 + i AS order_id,
1 + (hash(i*31+{d}) % 5000)::BIGINT AS customer_id,
1 + (hash(i*17+{d}) % 200)::BIGINT AS product_id,
1 + (hash(i*13) % 3)::BIGINT AS qty,
(['paid','paid','paid','shipped','cancelled'])[1 + (hash(i*3+{d}) % 5)::BIGINT] AS status,
TIMESTAMP '{day} 00:00:00' + to_seconds((hash(i*11) % 86400)::BIGINT) AS ordered_at,
TIMESTAMP '{day} 00:00:00' + to_seconds((hash(i*11) % 86400)::BIGINT) AS updated_at
FROM range(1, {n}+1) t(i)
) TO 'landing/orders/orders_{day}.csv' (HEADER)""")
print(con.execute("SELECT count(*) FROM read_csv('landing/orders/*.csv')").fetchone())python make_data.py
# (32200,) ← 7일치 주문 파일 전체 행 수
landing/ 폴더에 customers.csv, products.csv, orders/orders_2026-11-01.csv ~ orders_2026-11-07.csv가 생깁니다. "landing"은 외부에서 도착한 파일을 손대지 않고 두는 곳이라는 뜻으로 실무에서 흔히 쓰는 이름입니다.
모든 데이터는 가상입니다. 실제 회사 데이터로 연습하지 마세요. 개인정보가 섞일 수 있고, 실습 파일이 외부로 나가기 쉽습니다.
이것만 기억하세요
가상환경을 만들고, python make_data.py로 7일치 주문 파일 32,200행을 만듭니다. 이후 모든 장이 이 데이터를 씁니다.