Evals — you cannot improve what you do not measure, judge included
LLM evaluation ranges from exact-match benchmarks to using a model as a judge, and the judge itself has biases (length, position, self-preference) that must be measured before its scores are trusted.
Not yet scoped.
Why
The PoC builds a small eval set and an LLM-judge, then measures the judge's own biases — the meta-evaluation that keeps a scoreboard honest.
How it works
Not yet built.
Where it lands in Jayverse
Auditor: measure judge bias before trusting any LLM-judge score. Before trusting an LLM-as-judge score on an agent's behavior or a dispute-summary bot, measure its length/position/self-preference bias first, and publish that meta-evaluation the way the Auditor row publishes what-was-checked-by-which-rule.
CI: build the small eval set and bias check as a CI artifact. If any Jayverse agent behavior is ever gated by an LLM judge, keep the eval set and bias measurement versioned in CI, not a one-off script, so judge drift is caught like a test regression.
Key expressions
Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.
Expression
뜻 · 쓰이는 자리
exact-match (benchmark)
정확 일치 평가 방식 · 답이 정답과 글자 그대로 일치하는지 보는 벤치마크 기법. "from exact-match benchmarks to using a model as a judge"
self-preference (bias)
자기 선호 편향 · 심사자 모델이 자신과 비슷한 답을 더 높게 평가하는 편향. "biases (length, position, self-preference)"
meta-evaluation
메타 평가(평가를 다시 평가하는 것) · 심사자 자체의 신뢰도를 검증하는 절차. "the meta-evaluation that keeps a scoreboard honest"
keep ... honest
~이 왜곡 없이 정직하게 유지되게 하다 · 채점판이 편향되지 않도록 관리한다는 뜻. "keeps a scoreboard honest"
range from ... to
~부터 ~까지 걸쳐 있다 · 평가 방식이 이루는 스펙트럼을 설명. "ranges from exact-match benchmarks to using a model as a judge"
LLM 평가는 정확 일치 벤치마크부터 모델을 심판으로 쓰는 것까지 걸쳐 있으며, 심판 자체에 편향(길이, 위치, 자기 선호)이 있어 그 점수를 믿기 전에 측정해야 합니다.
아직 범위 미정.
왜
이 PoC는 작은 평가 집합과 LLM 심판을 만든 뒤 심판 자신의 편향을 측정합니다 — 점수판을 정직하게 유지하는 메타 평가입니다.
동작 방식
아직 만들지 않음.
Jayverse에서의 위치
Auditor: LLM 심사자 점수를 신뢰하기 전에 편향을 측정한다. 에이전트 행동이나 분쟁 요약 봇에 대한 LLM 심사 점수를 신뢰하기 전에, 그 길이·위치·자기선호 편향을 먼저 측정하고, Auditor 행이 "무엇을 어떤 규칙으로 확인했는지" 공개하는 방식 그대로 이 메타 평가도 공개한다.
CI: 소규모 평가셋과 편향 체크를 CI 산출물로 만든다. Jayverse 에이전트 행동이 LLM 심사로 게이팅된다면, 평가셋과 편향 측정을 일회성 스크립트가 아니라 CI에서 버전 관리해, 테스트 회귀처럼 심사자 드리프트를 잡아낸다.
핵심 표현
이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.
Expression
뜻 · 쓰이는 자리
exact-match (benchmark)
정확 일치 평가 방식 · 답이 정답과 글자 그대로 일치하는지 보는 벤치마크 기법. "from exact-match benchmarks to using a model as a judge"
self-preference (bias)
자기 선호 편향 · 심사자 모델이 자신과 비슷한 답을 더 높게 평가하는 편향. "biases (length, position, self-preference)"
meta-evaluation
메타 평가(평가를 다시 평가하는 것) · 심사자 자체의 신뢰도를 검증하는 절차. "the meta-evaluation that keeps a scoreboard honest"
keep ... honest
~이 왜곡 없이 정직하게 유지되게 하다 · 채점판이 편향되지 않도록 관리한다는 뜻. "keeps a scoreboard honest"
range from ... to
~부터 ~까지 걸쳐 있다 · 평가 방식이 이루는 스펙트럼을 설명. "ranges from exact-match benchmarks to using a model as a judge"