Fine-tuning and LoRA — teaching a model style without retraining it

LoRA fine-tunes a model by training a small number of added weights instead of all of them, cheap enough to run on one GPU — best for form and format, rarely the right tool for new facts.

Not yet scoped.

Why

The PoC fine-tunes a small model with LoRA on a style dataset and contrasts it with RAG, making the 'style vs facts' boundary the deliverable.

How it works

Not yet built.

Where it lands in Jayverse

Rabbit: use LoRA for a consistent agent voice, not for current facts. If Rabbit's agent needs a stable persona or support tone, that's LoRA's job; anything needing current market state or positions stays on RAG or a direct tool call.
Personas: keep a persona's voice separate from its factual claims. Treat any Personas-NFT chat behavior as the style-not-facts case this PoC tests, and source market facts from Verex's live data, never from fine-tuned weights.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression	뜻 · 쓰이는 자리
cheap enough to	~할 만큼 저렴한 · "cheap enough to run on one GPU"
rarely the right tool for	~에는 좀처럼 적합한 도구가 아니다 · "rarely the right tool for new facts"
contrast X with Y	X를 Y와 대조하다 · "contrasts it with RAG"
the deliverable	결과물, 산출물 · "making the 'style vs facts' boundary the deliverable"
added weights	원 모델에 추가로 얹은 가중치 · "training a small number of added weights instead of all of them"
LoRA	저순위 적응(Low-Rank Adaptation) · 전체 가중치 대신 소수의 추가 가중치만 학습하는 파인튜닝 기법, 이 카드의 주제. "LoRA fine-tunes a model by training a small"
RAG	검색증강생성(Retrieval-Augmented Generation) · 스타일을 가르치는 LoRA와 대조되는, 사실을 보강하는 대안 기법. "and contrasts it with RAG"

← All Knowledge Notes · Workspace Index · Top ↑

파인튜닝과 LoRA — 재학습 없이 모델에 스타일을 가르치기

LoRA는 모든 가중치가 아니라 소수의 추가 가중치를 학습해 모델을 파인튜닝하며, GPU 한 대로 돌릴 만큼 쌉니다 — 형식과 문체에 최적이고, 새 사실에는 좀처럼 맞는 도구가 아닙니다.

아직 범위 미정.

왜

이 PoC는 스타일 데이터셋에 LoRA로 작은 모델을 파인튜닝하고 RAG와 대조하여, '문체 대 사실' 경계를 산출물로 삼습니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

Rabbit: 일관된 에이전트 말투에는 LoRA를 쓴다, 현재 사실에는 쓰지 않는다. Rabbit의 에이전트가 안정적인 페르소나나 지원 톤이 필요하다면 그것은 LoRA의 일이다. 현재 시장 상태나 포지션이 필요한 것은 RAG나 직접 도구 호출에 남긴다.
Personas: 페르소나의 말투와 사실 주장을 분리해둔다. Personas NFT의 챗 동작은 이 PoC가 시험하는 '스타일이지 사실이 아닌' 경우로 다루고, 시장 사실은 파인튜닝된 가중치가 아니라 Verex의 실시간 데이터에서 가져온다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression	뜻 · 쓰이는 자리
cheap enough to	~할 만큼 저렴한 · "cheap enough to run on one GPU"
rarely the right tool for	~에는 좀처럼 적합한 도구가 아니다 · "rarely the right tool for new facts"
contrast X with Y	X를 Y와 대조하다 · "contrasts it with RAG"
the deliverable	결과물, 산출물 · "making the 'style vs facts' boundary the deliverable"
added weights	원 모델에 추가로 얹은 가중치 · "training a small number of added weights instead of all of them"
LoRA	저순위 적응(Low-Rank Adaptation) · 전체 가중치 대신 소수의 추가 가중치만 학습하는 파인튜닝 기법, 이 카드의 주제. "LoRA fine-tunes a model by training a small"
RAG	검색증강생성(Retrieval-Augmented Generation) · 스타일을 가르치는 LoRA와 대조되는, 사실을 보강하는 대안 기법. "and contrasts it with RAG"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑