블로그로 돌아가기
Tech Insight2026년 11월 16일149

한국어 RAG 임베딩·리랭커 2026 — BGE-M3와 ko-reranker, 「한국어 전용이 낫다」는 근거가 없다

한국어 RAG의 임베딩과 리랭커를 1차 출처로 정리했다. BGE-M3 한 모델이 dense·sparse·ColBERT 세 모드를 하고 최대 8,192 토큰이다. 그리고 가장 많이 추천되는 한국어 전용 리랭커는 현행 다국어 모델과 비교된 적이 없다 — 공개 성능표의 상대가 다르다.

한국어 RAG에서 검색 품질을 가르는 것은 LLM이 아니라 무엇을 LLM 앞에 올려 주느냐다. 그 앞단이 임베딩과 리랭커다. 결론부터 적는다.

  • 임베딩은 BAAI/bge-m3로 시작한다. 한 모델이 dense·sparse(어휘 매칭)·multi-vector(ColBERT) 세 가지를 동시에 한다. 최대 8,192 토큰, 차원 1,024. 100개 이상 언어를 지원한다고 적혀 있다 — 다만 모델 카드에 「한국어」라는 말은 없다.
  • 리랭커는 BAAI/bge-reranker-v2-m3로 시작한다. 임베딩과 같은 bge-m3 계열에서 출발한 모델이고 다국어다.
  • 🔴 「한국어 전용 리랭커가 다국어보다 좋다」는 공개 근거가 없다. 가장 많이 쓰이는 한국어 리랭커의 성능표는 비교 대상이 bge-reranker-v2-m3가 아니다. 아래에서 그 표를 그대로 옮긴다.
  • 그래서 우리 문서로 재는 것 외에 방법이 없다. 재는 방법은 마지막 절에 적는다.

아래 코드와 수치는 2026-11-16에 모델 카드와 저장소를 직접 확인한 것이다.

BGE-M3는 한 모델로 세 가지 검색을 한다

보통 RAG는 벡터 검색(dense) 하나만 쓴다. BGE-M3는 모델 카드 표현대로 「임베딩 모델의 세 가지 흔한 검색 기능을 동시에 수행」한다.

모드무엇을 잡나언제 필요한가
Dense의미가 비슷한 문장기본. 「휴가 신청 어떻게 해요」 ↔ 「연차 사용 절차」
Sparse (어휘 매칭)낱말이 실제로 겹치는 문서제품 코드·법 조항 번호·사내 약어처럼 철자가 그대로 맞아야 하는 것
Multi-vector (ColBERT)토큰 단위로 맞춰 본 정밀 점수상위 후보를 다시 줄 세울 때

한국어에서 sparse가 특히 중요하다. 사내 문서는 「KPI-2026-03」, 「제38조」, 「양식 7-1」처럼 의미가 아니라 글자로 식별되는 토큰이 많고, dense 벡터만 쓰면 그게 뭉개진다.

구체적으로 이렇게 깨진다. 「제38조 휴직 규정 알려줘」를 dense로만 검색하면 「휴직」·「규정」의 의미가 가까운 문서가 먼저 올라오고, 「제38조」라는 식별자는 거의 기여하지 않는다. 그래서 제37조와 제39조가 상위에 섞인다. sparse를 같이 켜면 「제38조」라는 토큰이 실제로 들어 있는 문서에 가중이 붙어 그 혼동이 줄어든다. convert_id_to_token으로 어떤 낱말에 가중이 붙었는지 눈으로 확인할 수 있으니, 우리 문서에서 식별자가 살아 있는지 먼저 그걸로 본다.

반대로 자연어 질문만 들어오는 FAQ 같은 도메인에서는 sparse를 켜도 이득이 거의 없고 색인 크기만 커진다. 모드를 켜는 기준은 「우리 질문에 식별자가 들어오는가」다.

최대 입력이 8,192 토큰이라는 점도 설계를 바꾼다. 청크를 300~500자로 잘게 쪼개던 관행이 이 모델에서는 꼭 필요하지 않다. 문서 파싱 단계에서 표와 레이아웃을 어떻게 보존하느냐가 더 큰 변수다 — docling 사용법에 그 쪽을 정리해 뒀다.

최소 코드 — 그런데 공식 문서 두 곳이 서로 다르다

모델 카드가 쓰는 길은 이렇다.

pip install -U FlagEmbedding
from FlagEmbedding import BGEM3FlagModel

model = BGEM3FlagModel('BAAI/bge-m3', use_fp16=True)

# dense 만
dense = model.encode(sentences, batch_size=12, max_length=8192)['dense_vecs']

# dense + sparse 같이
out = model.encode(sentences, return_dense=True, return_sparse=True, return_colbert_vecs=False)
print(model.convert_id_to_token(out['lexical_weights']))   # 어떤 낱말에 가중이 붙었나

세 모드를 가중 합산해 한 점수로 받을 수도 있다.

model.compute_score(sentence_pairs, max_passage_length=128,
                    weights_for_different_modes=[0.4, 0.2, 0.4])

여기서 걸린다. FlagEmbedding 저장소 README의 Quick Start에는 BGEM3FlagModel이 없다. README는 FlagAutoModel.from_finetuned(...)를 쓰고, BGE-M3는 research/BGE_M3 링크로만 넘긴다. 즉 모델 카드와 저장소 README가 서로 다른 API를 보여 준다. 둘 중 어느 쪽이 폐기 예정이라는 안내는 어디에도 없다.

실무 판단은 이렇다 — 모델 카드 코드가 동작하면 그대로 쓰고, 버전을 고정한다. 저장소 배지에 적힌 버전은 1.3.0이다. 같은 생태계에서 임포트 경로가 조용히 바뀌는 일을 최근에 여러 번 봤다.

간단히 dense만 쓸 거면 sentence-transformers 쪽이 짧다. 모델 카드도 이 길을 같이 안내한다.

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("BAAI/bge-m3")
embeddings = model.encode(sentences)

참고로 BGE-M3는 쿼리에 지시문(instruction)을 붙이지 않아도 된다. 이전 bge 계열에서 쓰던 「Represent this sentence for searching relevant passages:」 같은 접두사가 필요 없다고 FAQ에 적혀 있다. 옛 예제를 베끼면 그 접두사가 그대로 들어간다.

리랭커를 한 단 더 두면 무엇이 달라지나

벡터 검색은 상위 k개를 빠르게 뽑는 데 강하고, 그 k개의 순서는 약하다. 리랭커는 질문과 문서를 한 쌍으로 같이 읽어(cross-encoder) 점수를 다시 매긴다. 느리지만 정확하다. 그래서 구성은 보통 검색 50개 → 리랭크 → 상위 5개를 LLM에 올리기가 된다.

pip install -U FlagEmbedding
from FlagEmbedding import FlagReranker

reranker = FlagReranker('BAAI/bge-reranker-v2-m3', use_fp16=True)

score = reranker.compute_score(['질문', '후보 문서'])
# -5.65234375  ← 원시 로짓이다. 범위가 정해져 있지 않다

score = reranker.compute_score(['질문', '후보 문서'], normalize=True)
# 0.003497010252573502  ← 시그모이드로 0~1 로 눌러 준다

이 두 줄의 차이가 사고로 이어진다. normalize 없이 받은 값은 음수가 정상이고 범위가 열려 있다. 「0.7 이상만 통과」 같은 문턱을 원시 로짓에 걸면 전부 탈락하거나 전부 통과한다. 문턱을 쓸 거면 normalize=True로 받고, 그 문턱도 우리 데이터에서 정해야 한다.

sentence-transformers로도 같은 모델을 쓸 수 있다.

from sentence_transformers import CrossEncoder
model = CrossEncoder("BAAI/bge-reranker-v2-m3")
scores = model.predict([(query, passage) for passage in passages])

🔴 「한국어 전용 리랭커가 더 좋다」는 공개 근거가 없다

여기가 이 글을 쓴 이유다. 한국어 RAG 자료에서 가장 많이 추천되는 한국어 리랭커는 Dongjin-kr/ko-reranker다. 그 모델 카드의 성능표를 그대로 옮긴다.

구성has-right-in-contextsMRR
리랭커 없음0.930.80
bge-reranker-large0.950.84
한국어 fine-tuned0.960.87

표만 보면 한국어 파인튜닝이 이긴다. 그런데 비교 대상을 봐야 한다.

  • 비교된 상대는 bge-reranker-large다. FlagEmbedding 저장소는 이 모델을 「Chinese and English」로 분류한다 — 다국어 모델이 아니다.
  • 지금 다국어 기본값인 bge-reranker-v2-m3와의 비교는 이 카드에 없다. 그쪽이 더 좋을 수도, 나쁠 수도 있는데 측정된 적이 없다.
  • 평가셋은 ./dataset/evaluation/eval_dataset.csv라는 로컬 파일로만 적혀 있다. 공개된 데이터셋 이름이 없어서 재현할 수 없다.
  • 그리고 학습 데이터가 영어 msmarco-triplets 499,184건을 Amazon Translate로 기계번역한 것이다(카드 명시). 「한국어로 학습했다」가 「한국어 원문으로 학습했다」는 뜻이 아니다.

그러니 정확히 말하면 이렇다 — 그 모델이 나쁘다는 뜻이 아니다. 「다국어보다 낫다」를 뒷받침하는 공개 측정이 없다는 뜻이다. 두 모델 다 0.6B 파라미터이고 라이선스는 각각 MIT와 Apache-2.0이다.

실무 순서는 그래서 단순해진다. 임베딩과 같은 계열인 bge-reranker-v2-m3로 기준선을 만들고, 한국어 전용 모델을 같은 평가셋에 올려 우리 숫자로 비교한다. 근거 없는 추천을 따라 바꾸는 것보다 한 번 재는 쪽이 싸다.

선택표

상황임베딩리랭커비고
일반 사내 문서 RAGBAAI/bge-m3 (dense)BAAI/bge-reranker-v2-m3기본 조합
제품코드·조항번호가 많은 문서bge-m3 dense + sparse같음철자 일치가 중요한 토큰 보호
상위 후보 정밀 재정렬까지bge-m3 + ColBERT같음비용이 올라간다
한국어 전용 모델을 검토할 때같음Dongjin-kr/ko-reranker반드시 우리 평가셋으로 대조
GPU 없음bge-m3 (fp32, 느림)리랭커 생략 또는 API리랭커가 지연의 주범이다

표에서 가장 자주 틀리는 선택은 마지막 줄이다. GPU가 하나뿐일 때 리랭커를 먼저 올리는 경우가 많은데, 임베딩은 색인 전체를 다시 만들어야 하는 작업이라 나중에 바꾸는 비용이 훨씬 크다. 리랭커는 후보 수를 줄이는 것으로 언제든 타협할 수 있다.

sentence-transformers로 갈 때 걸리는 자리

같은 모델을 sentence-transformers로 쓰면 코드는 짧아지는데 이름이 바뀐 자리가 있다.

  • CrossEncoder.max_length 속성이 max_seq_length로 이름이 바뀌었다. 옛 코드에서 max_length를 읽거나 쓰는 자리가 조용히 깨진다.
  • fit()과 old_fit()은 v4.0부터 폐기이고 CrossEncoderTrainer를 쓰라고 안내한다.
  • get_max_seq_length()도 폐기돼 max_seq_length 속성으로 대체됐다.
  • 문서에 「v5.x → v6.x 마이그레이션」 항목이 따로 있다. 버전을 올릴 때 이 문서를 먼저 봐야 한다.

임포트는 from sentence_transformers import CrossEncoder이고 점수는 predict()로 받는다. 순위까지 한 번에 받으려면 rank()도 있다.

그래서 우리 데이터에서 재야 한다

위 선택은 전부 「우리 문서에서 어느 조합이 더 맞추는가」로만 결론이 난다. 재는 순서는 이렇다.

  1. 평가셋을 50~100문항 만든다. 실제로 들어온 질문과 그 답이 있는 문서를 짝짓는다. 질문을 새로 지어내지 말고 실제 문의·검색 로그에서 가져온다 — 사람이 만든 질문은 대체로 문서의 표현을 그대로 베껴서 검색이 쉬워지고, 그러면 평가셋이 실제보다 높은 점수를 준다. 답이 여러 문서에 걸쳐 있으면 정답 문서를 모두 적어 둔다. 여기서 아끼면 뒤가 전부 추측이 된다.
  2. 검색 단계만 먼저 잰다. 정답 문서가 상위 k개 안에 들어오는 비율(recall@k)을 본다. 리랭커는 이 단계를 고치지 못한다 — 후보에 없는 문서를 리랭커가 끌어올 수는 없다.
  3. 그다음 순서를 잰다. MRR이나 nDCG로 리랭커 유무를 비교한다.
  4. 마지막에 답변 품질을 잰다. 지표 네 개가 각각 무엇을 재는지는 RAGAS 평가에 정리해 뒀다.

2번을 건너뛰고 리랭커부터 바꾸는 경우가 많은데, 그러면 검색이 못 가져온 문서를 리랭커 탓으로 돌리게 된다. 순서가 중요하다.

문서 사이의 관계가 중요한 도메인이라면 벡터 검색만으로는 천장이 낮다 — 그쪽은 GraphRAG와 온톨로지에 적었다. 그리고 챗봇으로 운영에 올릴 때 사람에게 넘기는 경계는 RAG 챗봇 인수·운영 경계에 있다.

트리숲이 사내 문서 RAG를 구축할 때 쓰는 순서도 위와 같다. 모델을 먼저 고르지 않고 평가셋을 먼저 만든다 — 모델 비교는 그게 있어야 성립하고, 없으면 바꿀 때마다 체감으로 싸우게 된다. 사내 문서 RAG 구축은 지식그래프·RAG 구축에서 함께 진행하고, 사내 업무에 바로 붙여 쓰는 형태로 만들어 둔 것이 ax.trina.app이다.

Q: BGE-M3 하나만 쓰고 리랭커는 생략해도 되나요?

됩니다. 다만 상위 5개를 LLM에 올릴 때 순서가 중요하면 품질 차이가 납니다. 먼저 리랭커 없이 recall@50을 재고, 그 안에 정답이 충분히 들어오는지 확인한 뒤 순서 문제만 리랭커로 푸는 게 맞습니다. 리랭커는 지연의 주범이기도 해서, 실시간 응답이 필요하면 상위 10~20개만 리랭크하는 식으로 범위를 줄입니다.

Q: 청크를 몇 자로 잘라야 하나요?

BGE-M3는 최대 8,192 토큰을 받으므로 짧게 쪼갤 기술적 이유가 줄었습니다. 다만 긴 청크는 답과 무관한 내용을 같이 올려 LLM을 흐트립니다. 문단이나 절 단위로 자르고, 표는 쪼개지 않는 쪽이 안전합니다. 자르는 단위보다 파싱 단계에서 표·제목 구조가 살아 있는지가 품질에 더 큽니다.

Q: 한국어 전용 리랭커를 쓰면 안 되나요?

쓰면 안 된다는 뜻이 아닙니다. 「다국어보다 낫다」는 공개된 측정이 없다는 뜻입니다. 공개 성능표의 비교 대상이 현행 다국어 모델(bge-reranker-v2-m3)이 아니라 bge-reranker-large이고, 평가셋도 공개 데이터셋이 아닙니다. 그러니 기본값으로 다국어를 두고, 한국어 전용 모델은 우리 평가셋에서 이겼을 때 바꾸면 됩니다.

Q: 리랭커 점수에 문턱을 걸어 관련 없는 문서를 버려도 되나요?

됩니다. 단 compute_score의 기본 반환값은 원시 로짓이라 음수가 정상이고 범위가 열려 있습니다. 문턱을 쓸 거면 normalize=True로 0~1 값을 받고, 그 문턱도 우리 평가셋에서 정해야 합니다. 다른 글의 숫자를 그대로 가져오면 전부 탈락하거나 전부 통과합니다.

Q: GPU가 없으면 어떻게 하나요?

임베딩은 CPU로도 돌아가지만 느립니다(use_fp16=True는 GPU 전제입니다). 리랭커는 cross-encoder라 CPU에서 특히 느려서, 후보 수를 10~20개로 줄이거나 리랭킹을 외부 API로 분리하는 편이 현실적입니다. 둘 중 하나만 GPU에 올린다면 임베딩 쪽이 먼저입니다 — 색인 전체를 다시 만들어야 하는 작업이기 때문입니다.


참고한 1차 출처 (2026-11-16 확인)

관련 서비스: RAG 챗봇, 직접 구축해드립니다