A/B testing — the p-value that a peeked experiment inflates

A/B tests promise a clean causal read from randomization, but stopping early when the result looks good — peeking — silently multiplies the false-positive rate the test claims to control.

Not yet scoped.

Why

The PoC replays a null experiment with daily peeking and shows how often it 'wins', then contrasts fixed-horizon and sequential designs that actually hold the error rate.

How it works

Not yet built.

Where it lands in Jayverse

Rabbit/Verex: fix the test horizon before running any web-app A/B test. Use a fixed sample size or an explicit sequential design — no stopping early because a metric looks good, since peeking silently inflates the false-positive rate.
gitboard: note which design backed each reported experiment win. Fixed-horizon vs sequential, since a peeked result changes the true false-positive rate behind any number gitboard displays.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression	뜻 · 쓰이는 자리
peeking	중간에 몰래 들여다보기 · 실험 결과를 정해진 종료 전에 미리 확인하는 행위. "stopping early when the result looks good"
silently multiply	소리 없이(티 안 나게) 배가시키다 · 오류율이 알아채지 못하는 사이 커질 때. "silently multiplies the false-positive rate"
a clean causal read	깔끔한 인과적 해석 · 무작위 배정 덕에 원인과 결과를 명확히 볼 수 있을 때. "a clean causal read from randomization"
replay	(같은 상황을) 재현하다 · 실험을 다시 시뮬레이션해볼 때. "replays a null experiment with daily peeking"
hold the error rate	오류율을 (목표 수준으로) 유지하다 · 통계적 방법이 원래 약속한 오류 수준을 지킬 때. "designs that actually hold the error rate"

← All Knowledge Notes · Workspace Index · Top ↑

A/B 테스트 — 훔쳐본 실험이 부풀리는 p-값

A/B 테스트는 무작위화로 깨끗한 인과 해석을 약속하지만, 결과가 좋아 보일 때 일찍 멈추는 것 — 훔쳐보기 — 은 검정이 통제한다고 주장하는 거짓양성률을 조용히 배가시킵니다.

아직 범위 미정.

왜

이 PoC는 매일 훔쳐보는 귀무 실험을 재현해 얼마나 자주 '이기는지' 보이고, 오류율을 실제로 지키는 고정 지평·순차 설계와 대조합니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

Rabbit/Verex: 웹앱 A/B 테스트를 시작하기 전에 테스트 기간을 고정한다. 고정 표본 크기나 명시적 순차 설계를 쓰고, 지표가 좋아 보인다고 일찍 멈추지 않는다. 피킹은 오탐률을 조용히 부풀리기 때문이다.
gitboard: 보고된 실험 승리마다 어떤 설계였는지 기록한다. 고정 기간인지 순차 설계인지를, gitboard가 보여주는 숫자 뒤의 실제 오탐률이 피킹 여부로 달라지기 때문에 남긴다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression	뜻 · 쓰이는 자리
peeking	중간에 몰래 들여다보기 · 실험 결과를 정해진 종료 전에 미리 확인하는 행위. "stopping early when the result looks good"
silently multiply	소리 없이(티 안 나게) 배가시키다 · 오류율이 알아채지 못하는 사이 커질 때. "silently multiplies the false-positive rate"
a clean causal read	깔끔한 인과적 해석 · 무작위 배정 덕에 원인과 결과를 명확히 볼 수 있을 때. "a clean causal read from randomization"
replay	(같은 상황을) 재현하다 · 실험을 다시 시뮬레이션해볼 때. "replays a null experiment with daily peeking"
hold the error rate	오류율을 (목표 수준으로) 유지하다 · 통계적 방법이 원래 약속한 오류 수준을 지킬 때. "designs that actually hold the error rate"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑