RLHF — aligning a model to preferences, and to their biases
Reinforcement learning from human feedback tunes a model toward what raters prefer, which is how a raw model becomes a helpful assistant — and how rater bias becomes model behavior.
Not yet scoped.
Why
The PoC studies the reward-model-plus-policy loop conceptually and where preference data injects bias, framing alignment as a data-provenance problem.
How it works
Not yet built.
Where it lands in Jayverse
Auditor: if any service uses an RLHF'd or fine-tuned model, name whose preference data trained it in the methodology note. Alignment is a data-provenance question the Auditor already tracks for everything else — extend it here.
Number: log the model/reward source alongside any AI-generated ranking or recommendation on the research site. Treat it as carrying rater bias by construction rather than presenting it as neutral output.
Key expressions
Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.
Expression
뜻 · 쓰이는 자리
tune toward
~쪽으로 맞춰 조정하다 · "tunes a model toward what raters prefer"
rater bias
평가자(사람)가 가진 편향 · "how rater bias becomes model behavior"
reward model
선호를 점수로 평가하는 보상 모델 · "the reward-model-plus-policy loop"
inject bias
편향을 주입하다, 끼워넣다 · "where preference data injects bias"
data-provenance problem
데이터 출처·이력에서 비롯되는 문제 · "framing alignment as a data-provenance problem"
RLHF
인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback) · 모델을 평가자가 선호하는 방향으로 미세조정하는 기법. "Reinforcement learning from human feedback tunes a model toward what raters prefer"
인간 피드백 강화학습은 모델을 평가자가 선호하는 쪽으로 조정하며, 이는 원시 모델이 유용한 조수가 되는 방법이자 평가자 편향이 모델 행동이 되는 방법입니다.
아직 범위 미정.
왜
이 PoC는 보상모델+정책 루프를 개념적으로 연구하고 선호 데이터가 편향을 주입하는 지점을 봅니다 — 정렬을 데이터 출처 문제로 규정합니다.
동작 방식
아직 만들지 않음.
Jayverse에서의 위치
Auditor: RLHF로 튜닝된 모델을 쓰는 서비스가 있다면 방법론 노트에 어떤 선호 데이터로 학습했는지 명시한다. 정렬(alignment)은 Auditor가 다른 모든 것에 대해 이미 추적하는 데이터 출처 문제다. 여기에도 그대로 확장한다.
Number: 리서치 사이트의 AI 생성 랭킹이나 추천 옆에 모델/보상 출처를 함께 기록한다. 중립적인 출력인 것처럼 제시하지 않고, 구조적으로 평가자 편향을 담고 있다는 것으로 취급한다.
핵심 표현
이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.
Expression
뜻 · 쓰이는 자리
tune toward
~쪽으로 맞춰 조정하다 · "tunes a model toward what raters prefer"
rater bias
평가자(사람)가 가진 편향 · "how rater bias becomes model behavior"
reward model
선호를 점수로 평가하는 보상 모델 · "the reward-model-plus-policy loop"
inject bias
편향을 주입하다, 끼워넣다 · "where preference data injects bias"
data-provenance problem
데이터 출처·이력에서 비롯되는 문제 · "framing alignment as a data-provenance problem"
RLHF
인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback) · 모델을 평가자가 선호하는 방향으로 미세조정하는 기법. "Reinforcement learning from human feedback tunes a model toward what raters prefer"