Cross-validation — the honest way to fail before you ship

Cross-validation estimates out-of-sample error before deployment, but time-series and grouped data break the i.i.d. assumption behind vanilla k-fold, leaking the future into the past.

Not yet scoped.

Why

The PoC contrasts random k-fold with time-aware splitting on the same forecasting task and shows the optimism that leakage manufactures.

How it works

Not yet built.

Where it lands in Jayverse

Number: use walk-forward splitting, never random k-fold, on time-series readings. Any backtested reading or indicator built on time-series data leaks the future into the past under random k-fold; the published performance number must come from a time-aware split.
DeFi: apply the same split to liquid-staking backtests. Yield or risk-parameter backtests built on historical data need time-aware validation before any parameter is called validated, not just a k-fold score.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression	뜻 · 쓰이는 자리
out-of-sample	학습에 쓰이지 않은 데이터(표본 밖)의 · 모델이 처음 보는 데이터에서의 성능을 말할 때. "estimates out-of-sample error before deployment"
break the assumption	전제를 깨뜨리다/위반하다 · 이론의 기본 가정이 실제 데이터에서 성립하지 않을 때. "break the i.i.d. assumption"
leak into	(몰래) 스며들다/새어 들어가다 · 미래 정보가 부당하게 과거 데이터 처리에 섞여 들어갈 때. "leaking the future into the past"
manufacture (optimism)	(인위적으로) 만들어내다/조작하다 · 실제보다 좋아 보이는 결과를 데이터 유출이 만들어낼 때. "the optimism that leakage manufactures"
the honest way to fail	정직하게 실패해 보는 방법 · 실전 배포 전에 미리 제대로 실패를 확인하는 검증법을 말할 때. "The honest way to fail before you ship"
i.i.d.	독립동일분포(Independent and Identically Distributed) · 데이터 포인트가 서로 독립이고 같은 분포를 따른다는 통계적 가정. "break the i.i.d. assumption behind vanilla k-fold"

← All Knowledge Notes · Workspace Index · Top ↑

교차검증 — 배포 전에 정직하게 실패하는 법

교차검증은 배포 전에 표본 외 오차를 추정하지만, 시계열과 그룹 데이터는 기본 k-겹 뒤의 i.i.d. 가정을 깨뜨려 미래를 과거로 새게 합니다.

아직 범위 미정.

왜

이 PoC는 같은 예측 과제에서 무작위 k-겹과 시간 인지 분할을 대조해, 누수가 만들어 내는 낙관을 보입니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

Number: 시계열 리딩에는 랜덤 k-fold 대신 워크포워드 분할을 쓴다. 시계열 데이터로 만든 백테스트 리딩이나 지표는 랜덤 k-fold에서 미래가 과거로 새어 들어간다. 공개하는 성능 수치는 시간을 고려한 분할에서 나와야 한다.
DeFi: 유동성 스테이킹 백테스트에도 같은 분할을 적용한다. 과거 데이터로 만든 수익률이나 리스크 파라미터 백테스트는 k-fold 점수만으로 "검증됐다"고 부르기 전에 시간을 고려한 검증이 필요하다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression	뜻 · 쓰이는 자리
out-of-sample	학습에 쓰이지 않은 데이터(표본 밖)의 · 모델이 처음 보는 데이터에서의 성능을 말할 때. "estimates out-of-sample error before deployment"
break the assumption	전제를 깨뜨리다/위반하다 · 이론의 기본 가정이 실제 데이터에서 성립하지 않을 때. "break the i.i.d. assumption"
leak into	(몰래) 스며들다/새어 들어가다 · 미래 정보가 부당하게 과거 데이터 처리에 섞여 들어갈 때. "leaking the future into the past"
manufacture (optimism)	(인위적으로) 만들어내다/조작하다 · 실제보다 좋아 보이는 결과를 데이터 유출이 만들어낼 때. "the optimism that leakage manufactures"
the honest way to fail	정직하게 실패해 보는 방법 · 실전 배포 전에 미리 제대로 실패를 확인하는 검증법을 말할 때. "The honest way to fail before you ship"
i.i.d.	독립동일분포(Independent and Identically Distributed) · 데이터 포인트가 서로 독립이고 같은 분포를 따른다는 통계적 가정. "break the i.i.d. assumption behind vanilla k-fold"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑