PySpark · S02

DataFrame으로 중복 제거·조인·집계

07장에서 dbt로 만든 일별 매출을 PySpark DataFrame으로 똑같이 만들어 봅니다. 결과 총매출이 dbt와 원 단위까지 같은지 대조했습니다.


from pyspark.sql import SparkSession, functions as F, Window
spark = (SparkSession.builder.master("local[*]").config("spark.sql.session.timeZone", "Asia/Seoul").getOrCreate())
spark.sparkContext.setLogLevel("ERROR")
schema = "order_id BIGINT, customer_id BIGINT, product_id BIGINT, qty INT, status STRING, ordered_at TIMESTAMP, updated_at TIMESTAMP"
raw = spark.read.csv("landing/orders/*.csv", header=True, schema=schema)
customers = spark.read.csv("landing/customers.csv", header=True, inferSchema=True)
products = spark.read.csv("landing/products.csv", header=True, inferSchema=True)

print("원본 행 수:", raw.count(), "/ 고유 주문 수:", raw.select("order_id").distinct().count())

# 1) 같은 주문은 updated_at 이 가장 늦은 행만 남긴다
w = Window.partitionBy("order_id").orderBy(F.col("updated_at").desc())
orders = (raw.withColumn("rn", F.row_number().over(w))
             .filter("rn = 1").drop("rn")
             .withColumn("order_date", F.to_date("ordered_at")))
print("중복 제거 후:", orders.count())

# 2) 조인 → 매출 계산 → 집계
daily = (orders.filter(F.col("status") != "cancelled")
         .join(customers.select("customer_id", "region"), "customer_id")
         .join(products.select("product_id", "category", "price"), "product_id")
         .withColumn("revenue", F.col("qty") * F.col("price"))
         .groupBy("order_date", "region", "category")
         .agg(F.count("*").alias("orders"), F.sum("revenue").alias("revenue")))
daily.orderBy(F.desc("revenue")).show(5)
print("총매출:", f"{daily.agg(F.sum('revenue')).first()[0]:,}")

# 3) 같은 계산을 Spark SQL로
orders.createOrReplaceTempView("orders"); customers.createOrReplaceTempView("customers"); products.createOrReplaceTempView("products")
print("SQL 총매출:", f"""{spark.sql('''
  SELECT sum(o.qty * p.price) FROM orders o
  JOIN customers c USING (customer_id) JOIN products p USING (product_id)
  WHERE o.status <> 'cancelled' ''').first()[0]:,}""")
spark.stop()
원본 행 수: 32203 / 고유 주문 수: 32200
중복 제거 후: 32200
+----------+------+--------+------+-------+
|order_date|region|category|orders|revenue|
|2026-11-06|  경기|    문구|   152|3327500|
|2026-11-05|  광주|    주방|   130|3292500|
...
총매출: 558,556,500
SQL 총매출: 558,556,500

dbt 결과와 대조

계산한 곳총매출
PySpark DataFrame558,556,500
PySpark Spark SQL558,556,500
dbt fct_daily_sales (04장 변경 파일까지 적재)558,556,500
09장 캡스톤 (변경 파일 없이 7일치만)558,604,500

세 계산이 원 단위까지 같았습니다. 캡스톤과의 차이 48,000원은 나중에 취소된 주문 3건의 원래 매출과 정확히 같습니다(PySpark로 따로 계산해 확인). 도구를 바꿔 같은 숫자가 나오는지 대조하는 것은 마이그레이션이나 AI가 쓴 코드를 검증할 때 그대로 쓰는 방법입니다.

코드에서 볼 것

Window + row_number

같은 주문은 updated_at이 가장 늦은 행만 남깁니다. 04장의 upsert를 읽는 쪽에서 하는 방법입니다.

메서드 체인

filter → join → withColumn → groupBy → agg. 각 단계가 새 DataFrame을 돌려줍니다.

SQL로도 같게

createOrReplaceTempView로 등록하면 같은 데이터를 Spark SQL로 조회합니다. 팀이 편한 쪽을 씁니다.

아래 PySpark 코드를 리뷰해줘. 1) 같은 결과를 내는 Spark SQL 버전, 2) 파이썬 UDF를 쓴 곳이 있으면 내장 함수로 바꾼 버전, 3) collect()나 toPandas()처럼 드라이버로 데이터를 다 가져오는 부분이 있으면 표시해줘. 결과가 원래 코드와 같은지 확인하는 검증 쿼리도 하나 써줘. (코드 붙여 넣기)

이것만 기억하세요

중복 제거는 Window와 row_number, 집계는 groupBy와 agg. 다른 도구로 만든 결과와 총합을 대조해 같은지 확인합니다.

다음
S03. 지연 실행·UDF·파티션
이어보기 →