RAG — the model answers from what you retrieved, right or wrong

Retrieval-augmented generation grounds an answer in fetched documents instead of the model's memory, which moves the failure mode from hallucination to retrieval quality — you now fail by fetching the wrong passage.

Not yet scoped.

Why

The PoC builds a small RAG pipeline (chunk, embed, retrieve, answer) and measures answer quality against retrieval quality, showing the bottleneck is upstream of the model.

How it works

Not yet built.

Where it lands in Jayverse

Number: if Number ever adds search or an assistant over research notes, build the eval around retrieval precision, not answer fluency. This PoC's point is that the bottleneck is upstream of the model, so measure the retrieve step directly.
Auditor: wherever a service uses RAG (a Number assistant, a persona chat in Rabbit), track retrieval quality as its own metric, separate from answer quality, so a wrong-passage failure isn't mistaken for a model failure.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression	뜻 · 쓰이는 자리
ground (동사)	(주장·답을) 근거에 기반하게 하다 · 모델 답변을 외부 문서에 근거하게 만들 때. "grounds an answer in fetched documents"
bottleneck	병목 · 성능을 가장 크게 제약하는 지점을 가리킬 때. "showing the bottleneck is upstream of the model"
upstream of	~보다 앞단계에·상류에 · 문제의 원인이 모델보다 이전 단계(검색)에 있을 때. "the bottleneck is upstream of the model"
fail by	~함으로써 실패하다 · 실패가 구체적으로 어떤 행동 때문에 생기는지 말할 때. "you now fail by fetching the wrong passage"
failure mode	실패 양상·고장 유형 · 시스템이 잘못될 때 나타나는 전형적인 방식. "moves the failure mode from hallucination to retrieval quality"
RAG	검색증강생성(Retrieval-Augmented Generation) · 모델이 외부 문서를 검색해 그 내용에 근거해 답을 생성하는 방식. "Retrieval-augmented generation grounds an answer in fetched documents"

← All Knowledge Notes · Workspace Index · Top ↑

RAG — 모델은 검색해 준 것으로 답한다, 옳든 그르든

검색증강생성은 답을 모델의 기억이 아니라 가져온 문서에 근거하게 하며, 실패 양식을 환각에서 검색 품질로 옮깁니다 — 이제 잘못된 문단을 가져와서 실패합니다.

아직 범위 미정.

왜

이 PoC는 작은 RAG 파이프라인(청킹, 임베딩, 검색, 답변)을 만들어 답변 품질을 검색 품질에 대비해 측정하고, 병목이 모델 상류에 있음을 보입니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

Number: Number에 연구 노트 검색이나 어시스턴트를 추가하게 되면, 답변 유창성이 아니라 검색 정밀도를 중심으로 평가를 만든다. 이 PoC의 요점은 병목이 모델 이전 단계에 있다는 것이므로 retrieve 단계를 직접 측정한다.
Auditor: RAG를 쓰는 어떤 서비스든(Number 어시스턴트, Rabbit의 페르소나 채팅) 검색 품질을 답변 품질과 별개의 지표로 추적한다. 잘못된 문서를 가져온 실패를 모델 실패로 오인하지 않게 한다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression	뜻 · 쓰이는 자리
ground (동사)	(주장·답을) 근거에 기반하게 하다 · 모델 답변을 외부 문서에 근거하게 만들 때. "grounds an answer in fetched documents"
bottleneck	병목 · 성능을 가장 크게 제약하는 지점을 가리킬 때. "showing the bottleneck is upstream of the model"
upstream of	~보다 앞단계에·상류에 · 문제의 원인이 모델보다 이전 단계(검색)에 있을 때. "the bottleneck is upstream of the model"
fail by	~함으로써 실패하다 · 실패가 구체적으로 어떤 행동 때문에 생기는지 말할 때. "you now fail by fetching the wrong passage"
failure mode	실패 양상·고장 유형 · 시스템이 잘못될 때 나타나는 전형적인 방식. "moves the failure mode from hallucination to retrieval quality"
RAG	검색증강생성(Retrieval-Augmented Generation) · 모델이 외부 문서를 검색해 그 내용에 근거해 답을 생성하는 방식. "Retrieval-augmented generation grounds an answer in fetched documents"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑