확장 · CH10

Spark는 언제 필요한가

채용 공고에는 Spark가 자주 나오지만, 이 교안의 데이터는 노트북 한 대의 DuckDB로 0.1초 안에 집계됐습니다. 한 대로 충분한 경우와 분산 처리가 필요한 경우를 나누고, 2026년 10월 30일에 나온 Spark 4.3의 새 SQL을 직접 실행한 결과를 봅니다.


한 대로 충분한가

상황먼저 고를 도구
수천만 행, 수십 GB 이하, 한 사람이 분석DuckDB, Polars (03장처럼 노트북에서 충분)
수백 GB~TB, 매일 대량 변환, 여러 팀이 같은 클러스터 사용Spark (Databricks, EMR, Dataproc)
회사가 이미 Databricks를 씀규모와 상관없이 Spark·Databricks SQL

레딧에서도 "작은 데이터에 Spark 클러스터부터 띄우는 것"을 경계하는 글이 꾸준히 추천을 받습니다. 다만 채용 공고에 자주 나오므로 PySpark DataFrame과 Spark SQL의 기본은 익혀 둡니다.

Spark 4.3에서 직접 실행한 것

Java 21과 pip install pyspark==4.3.0으로 노트북에서 실행했습니다. ASOF JOIN은 "그 시점에 알고 있던 가장 최근 값"을 붙이는 조인으로, 4.3부터 SQL로 쓸 수 있지만 기본값은 꺼져 있습니다.

spark.conf.set("spark.sql.join.asofJoin.enabled", "true")   # 켜지 않으면 UNSUPPORTED_FEATURE.ASOF_JOIN 오류
spark.sql("""
SELECT t.sym, t.ts, t.qty, q.price
FROM trades t ASOF JOIN quotes q
  MATCH_CONDITION (t.ts >= q.ts)
  ON t.sym = q.sym ORDER BY t.ts""").show()

+----+-------------------+---+-----+
|sym |ts                 |qty|price|
|AAPL|2026-11-02 09:00:05|10 |230.1|
|AAPL|2026-11-02 09:00:12|5  |230.6|

09:00:05 체결에는 직전인 09:00:00 호가가, 09:00:12 체결에는 09:00:10 호가가 붙었습니다. 중첩 JSON을 행으로 펴는 JSON_TABLE도 같은 버전에서 설정 없이 동작했습니다. 업그레이드할 때는 Python 3.10 지원이 빠졌다는 점을 확인합니다.

이것만 기억하세요

데이터가 한 대에 들어가면 DuckDB·Polars로 시작합니다. Spark는 데이터 규모나 회사 환경이 요구할 때 씁니다. 공고 대비로는 DataFrame API와 Spark SQL 기본을 익혀 둡니다.

다음
S01. PySpark 시작하기
이어보기 →