PySpark · S01

PySpark 시작하기

PySpark는 Spark를 Python으로 쓰는 방법입니다. 데이터 엔지니어 채용 공고에 가장 자주 나오는 도구 중 하나라, 규모와 상관없이 기본 사용법은 익혀 둡니다. 노트북에서 Spark 4.3.0을 띄우고 01장의 주문 파일을 읽어 봅니다.


설치

Spark는 JVM 위에서 돌아서 Java 17 또는 21이 필요합니다. 교안은 Java 21(Eclipse Temurin)로 확인했습니다. Spark 4.3은 Python 3.10 지원을 뺐습니다.

java -version                     # 17 또는 21
pip install "pyspark==4.3.0" "pandas<3" pyarrow   # pandas 3은 아직 경고가 나옵니다

pandas 3 경고: 실행해 보니 PySpark 4.3.0은 pandas 3.0 이상에서 "아직 완전히 지원하지 않는다"는 경고를 냈습니다. toPandas()를 쓸 예정이면 pandas 2.x를 씁니다.

세션 만들고 파일 읽기

import time
t0 = time.perf_counter()
from pyspark.sql import SparkSession
spark = (SparkSession.builder.appName("shop").master("local[*]")
         .config("spark.sql.session.timeZone", "Asia/Seoul").getOrCreate())
spark.sparkContext.setLogLevel("ERROR")
print(f"Spark {spark.version}, 세션 시작 {time.perf_counter()-t0:.1f}초")

# 1) 스키마 추론
df = spark.read.csv("landing/orders/*.csv", header=True, inferSchema=True)
df.printSchema()
print("행 수:", df.count())

# 2) 스키마를 직접 지정 (실무 권장)
schema = """order_id BIGINT, customer_id BIGINT, product_id BIGINT, qty INT,
            status STRING, ordered_at TIMESTAMP, updated_at TIMESTAMP"""
orders = spark.read.csv("landing/orders/*.csv", header=True, schema=schema)
orders.show(3, truncate=False)
print("파티션 수:", orders.rdd.getNumPartitions())
spark.stop()
Spark 4.3.0, 세션 시작 19.4초
root
 |-- order_id: integer (nullable = true)
 ...
행 수: 32203
파티션 수: 8

행 수가 32,203인 이유

01장에서는 32,200행이었는데 3행이 많습니다. 04장에서 넣은 변경 파일(orders_2026-11-08_updates.csv)까지 함께 읽었기 때문입니다. 원본 파일을 그대로 읽으면 같은 주문이 두 번 들어옵니다. 다음 장에서 이 중복을 정리합니다.

이것만 기억하세요

Java를 준비하고, 세션의 시간대를 정하고, 스키마는 직접 적습니다. 원본 파일을 그대로 읽으면 변경분까지 섞인다는 점을 먼저 확인합니다.

다음
S02. DataFrame으로 집계하기
이어보기 →