AI 데이터 · X14

LLM·RAG용 데이터 파이프라인

공고 43건(46%)이 LLM·RAG·벡터를 언급하고, 이 중 32건이 우대사항입니다. RAG(검색 증강 생성)에서 데이터 엔지니어가 맡는 것은 문서를 잘라(청크) 벡터로 바꾸고, 바뀐 문서만 다시 처리하고, 검색 품질을 재는 일입니다. 이 교안의 장들을 문서로 써서 직접 만들었습니다.


색인 파이프라인

# R1. RAG용 데이터 파이프라인: 문서 → 청크 → 해시 → (바뀐 청크만) 임베딩 → DuckDB 벡터 테이블.
# 문서는 이 교안의 HTML 장들입니다. 임베딩 모델은 내 컴퓨터에서 도는 다국어 모델(384차원)입니다.
import glob, hashlib, re, sys, time, duckdb
from html import unescape
from fastembed import TextEmbedding
DOCS = sys.argv[1] if len(sys.argv) > 1 else "docs"
MODEL = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"

def chunks(path, size=500, overlap=80):
    html = open(path, encoding="utf-8").read()
    title = unescape(re.sub("<[^>]+>", "", re.search(r"<h1[^>]*>(.*?)</h1>", html, re.S).group(1))).strip()
    body = html.split('<main', 1)[-1].split('>', 1)[-1]
    body = re.sub(r"<(script|style|pre)[^>]*>.*?</\1>", " ", body, flags=re.S)        # 코드 블록은 빼고 설명만
    text = re.sub(r"\s+", " ", unescape(re.sub("<[^>]+>", " ", body))).strip()
    for i in range(0, max(len(text) - overlap, 1), size - overlap):
        yield title, text[i:i + size]

db = duckdb.connect("rag.duckdb")
db.execute("""CREATE TABLE IF NOT EXISTS chunks (chunk_id VARCHAR PRIMARY KEY, doc VARCHAR, title VARCHAR,
              text VARCHAR, content_hash VARCHAR, embedding FLOAT[384], indexed_at TIMESTAMP)""")
rows = []
for path in sorted(glob.glob(f"{DOCS}/*.html")):
    doc = path.split("/")[-1]
    for n, (title, text) in enumerate(chunks(path)):
        rows.append((f"{doc}#{n}", doc, title, text, hashlib.sha256(text.encode()).hexdigest()[:16]))
known = dict(db.execute("SELECT chunk_id, content_hash FROM chunks").fetchall())
todo = [r for r in rows if known.get(r[0]) != r[4]]
gone = set(known) - {r[0] for r in rows}
print(f"청크 {len(rows)}개 중 새로 임베딩할 것 {len(todo)}개, 지울 것 {len(gone)}개")
if todo:
    t0 = time.time()
    vecs = list(TextEmbedding(MODEL).embed([r[3] for r in todo], batch_size=64))
    print(f"임베딩 {len(todo)}개 {time.time() - t0:.1f}초")
    db.executemany("INSERT OR REPLACE INTO chunks VALUES (?,?,?,?,?,?, now())", [(*r, v.tolist()) for r, v in zip(todo, vecs)])
if gone:
    db.executemany("DELETE FROM chunks WHERE chunk_id = ?", [[g] for g in gone])
print("저장된 청크", db.execute("SELECT count(*) FROM chunks").fetchone()[0])
python r1_index.py ../de-web      # 이 교안 35개 장의 HTML
청크 100개 중 새로 임베딩할 것 100개, 지울 것 0개
임베딩 100개 28.8초          # 첫 실행: 모델(220MB) 내려받기 포함
저장된 청크 100

# db02.html에서 한 문장을 고치고 다시 실행
청크 100개 중 새로 임베딩할 것 2개, 지울 것 0개
임베딩 2개 0.5초

청크마다 내용 해시를 저장해 두고, 해시가 바뀐 청크만 다시 임베딩했습니다. 한 문장을 고치자 그 문장이 걸친 청크 2개(청크끼리 80자씩 겹치므로)만 다시 처리됐습니다. 04장의 증분 적재와 같은 원리이고, 임베딩 API를 유료로 쓰면 이 차이가 비용입니다. 원본에서 사라진 문서의 청크를 지우는 처리도 들어 있습니다. 지우지 않으면 AI가 없어진 내용을 계속 답합니다.

검색 품질 재기

# R2. 질문 검색: (1) 벡터 유사도만, (2) 벡터 + 글자 두 개씩 겹침(키워드) 점수를 섞은 하이브리드.
import sys, duckdb
from fastembed import TextEmbedding
q = sys.argv[1]
v = next(TextEmbedding("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2").embed([q])).tolist()
db = duckdb.connect("rag.duckdb", read_only=True)
rows = db.execute("SELECT doc, title, array_cosine_similarity(embedding, ?::FLOAT[384]) AS sim, text FROM chunks", [v]).fetchall()
def grams(s):
    s = s.replace(" ", "")
    return {s[i:i + 2] for i in range(len(s) - 1)}
qg = grams(q)
print("질문:", q)
for name, key in [("벡터만", lambda r: r[2]), ("하이브리드", lambda r: 0.5 * r[2] + 0.5 * len(qg & grams(r[3])) / len(qg))]:
    top = sorted(rows, key=key, reverse=True)[:3]
    print(f"  [{name}] " + " / ".join(f"{r[0]}({key(r):.2f})" for r in top))
질문기대한 장벡터만 1위하이브리드 1위
증분 모델이 늦게 들어온 변경을 놓치는 이유D02A10 (틀림, D02는 2위)D02
Airflow 스케줄이 한국 시간과 9시간 차이 나요A03A09 (A03은 2위)A09 (A03은 2위)
Parquet이 CSV보다 빠른 이유030303
고객 지역이 바뀌어도 과거 이력을 남기려면D03D03D03
dbt 테스트가 통과했는데 로직이 틀렸어요D0508 (D05는 2위)08 (D05는 2위)

5개 질문 기준으로 1위 적중은 벡터 검색만 쓸 때 2개, 글자 겹침 점수를 섞은 하이브리드에서 3개였고, 3위 안에는 둘 다 5개 모두 들어왔습니다. 작은 다국어 모델(384차원)은 "증분 모델"처럼 이 교안만의 용어에 약했고, 키워드 점수가 그 부분을 보완했습니다. 질문 5개는 너무 적어서 일반적인 결론은 아닙니다. 실무에서는 질문-정답 쌍을 50~100개 만들어 두고, 청크 크기나 모델을 바꿀 때마다 같은 표로 비교합니다.

💡 실무에서는 벡터를 pgvector(Postgres), DuckDB vss 확장, 전용 벡터 DB에 저장합니다. 이 실습은 100개라 전체 비교로 충분했습니다. 수만 개가 넘으면 HNSW 같은 근사 색인을 씁니다(이 교안에서는 돌리지 않음).

우리 회사 문서로 RAG 색인 파이프라인을 만들려고 해. 1) 문서별 청크 크기와 겹침을 어떻게 정할지, 2) 바뀐 문서만 다시 임베딩하는 방법(해시·updated_at), 3) 삭제된 문서 청크 정리, 4) 검색 품질을 잴 질문-정답 30개를 만드는 방법을 단계별로 알려줘. 각 단계에서 내가 실제로 확인해야 할 숫자도 적어줘.

이것만 기억하세요

RAG에서 데이터 엔지니어의 일은 청크·임베딩을 증분으로 관리하고, 삭제를 반영하고, 검색 품질을 숫자로 재는 것입니다.

다음
13. AI가 읽는 데이터
이어보기 →