You can SFT the shape of thinking, not the thinking
Reproducing a reasoning model the S1 way — SFT a base model on <think>…</think> traces harvested from DeepSeek R1 or Gemini — works, and that is exactly what exposes the catch: you are teaching the model to emit text that looks like step-by-step thought, not to think. Test-time scaling spends inference tokens on that pattern; the weights don't get smarter. The way past a frozen-weight imitator is experience — RL from environment interaction, accumulated across sessions.
Not yet scoped — read-and-reproduce, then measure one thing. The recipe (Stanford S1, echoing Alpaca's instruction-tuning): collect problems + full thinking traces + answers from a strong reasoning model (DeepSeek R1, Gemini Thinking), format each as <think> long reasoning </think> final answer, and SFT a base model on them. Implementation tip: <think> need not be a special token — plain text works — and prefilling <think> at the end of the chat template forces the model to start a long reasoning span. Then measure the only question that matters: does accuracy rise because of the thinking, or just because more tokens were spent looking like thinking? Source: sudoremove, 'Reasoning 모델 직접 만들기…' (youtube.com/watch?v=FOjq2WCDPZE). Confirm claims and timings against the video before citing.
Why
Test-time scaling is a real lever: instead of a bigger model, spend inference tokens on a step-by-step span before answering. On math and code it clearly helps. The question this card holds is why it helps — and reproducing it the S1 way answers it uncomfortably.
Training a reasoning model turns out to be instruction-tuning pointed at chain-of-thought. Same machinery Alpaca used to teach 'follow an instruction,' now fed <think>…</think> traces so the model learns to produce a reasoning-shaped preamble before its answer. That is imitation of a text pattern. The Korean word the video reaches for is 주입식 — rote, cram-taught: the model wears the costume of thinking, and the honest test is whether the costume changes the answer or only its length.
Why it cannot become more than imitation, on its own. After pretraining the weights are frozen; every 'thought' is recombination inside fixed parameters. A longer <think> span rearranges what is already in there — it does not add a fact the model never saw or a move it never learned. So SFT'd reasoning raises the ceiling of elicited competence, not the ceiling of competence. That is a genuine gain and a real limit at once, and confusing the two is how 'it thinks now' becomes a marketing sentence instead of a measured one.
The next direction is the escape from frozen weights: experience. If new capability cannot come from re-reading the weights, it has to come from interaction — deep-research agents that search for information the weights lack, computer-use agents that click, execute, and take a reward from the environment (agents-computer-use). And crucially, from accumulation: a replay buffer that survives the session reset, so an agent learns from what it did yesterday instead of starting cold. RL from environment, banked as experience, is the part imitation cannot fake. On MCP the video is deflationary and correct: it is tool-calling with a better ecosystem — it widens what an agent can reach, it does not deepen what an agent is. The one honest evaluation to carry away is measurable: does the reasoning change the answer, or just the token count?
How it works
Reading note plus one measurement, not a demo.
The recipe, and what it actually teaches
Step
S1 / Alpaca-style
What the model learns
Harvest
problems + <think> traces + answers from R1 / Gemini
—
Format
<think> long reasoning </think> final answer
the shape of a reasoning turn
SFT
fine-tune a base model on the traces
to emit that shape on demand
Force
prefill <think> at the prompt's end
to start the span every time
Shape vs skill — the test that settles it
Run the same model with and without the forced <think> span on a held-out set. If accuracy rises only in step with token count and collapses when you cap the span, you bought length, not thought. If it rises and holds under a token budget, the span is doing real work. Most surprise disappoints here — hence the video's 회의감 (skepticism).
Why, and the way out
Limit
Cause
The escape
No new facts / moves
weights frozen after pretraining
interaction, not re-reading
Session amnesia
nothing survives the reset
a replay buffer of experience
'Reasoning' is recombination
SFT copies a pattern
RL rewarded by the environment
The next direction is deep-research and computer-use agents that earn capability from the world and bank it. Cross-refs: demonstration-is-not-a-specification (a thinking trace is a demonstration of reasoning, not a specification of it — copying it copies the surface), agents-computer-use (the environment-interaction escape), ai-engineering-is-framing-non-determinism (test-time scaling is one framing of the same non-determinism), known-workflow-is-a-graph (a reasoning step is one node — and you can often replace it with deterministic code once you know the workflow).
Where it lands in Jayverse
Rabbit: keep mandate-approval logic as deterministic code, not model narration. A session-key policy check must be a rule engine's yes/no, not "the model reasoned it through," matching this card's point that frozen weights only recombine, they don't add a new fact.
Number: cap the reasoning budget and see if the conclusion moves. If any Number writeup leans on an LLM's chain-of-thought, run the card's own test — bound the reasoning tokens and check whether the recommendation changes, before crediting the reasoning with the result.
gitboard/CI: log token count next to the decision for every agent-produced artifact. That turns "it reasoned about it" into a checkable number across alice-tech and any other agent report, the same ledger habit the harness card asks for.
Key expressions
Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.
Expression
뜻 · 쓰이는 자리
prefill
미리 채워 넣다 · 프롬프트 끝에 시작 토큰을 강제로 넣어 긴 추론을 유도 · "prefilling think at the end of the chat template"
wear the costume of
~의 옷을 입다(겉모습만 흉내 내다) · 모델이 사고하는 척만 함을 비유 · "the model wears the costume of thinking"
recombination
(기존 요소들의) 재조합 · 학습된 가중치 안에서 짜맞추기만 한다는 뜻 · "every 'thought' is recombination inside fixed parameters"
raise the ceiling of
~의 상한을 끌어올리다 · 진짜 능력이 아니라 끌어낼 수 있는 능력치가 올라감 · "raises the ceiling of elicited competence"
held-out set
(평가용으로) 따로 떼어둔 데이터셋 · 학습에 쓰지 않은 세트로 성능을 검증 · "on a held-out set"
cap the span
(구간·길이를) 상한선으로 제한하다 · 추론 토큰 길이를 강제로 줄여 테스트 · "collapses when you cap the span"
replay buffer
재생 버퍼(과거 경험 저장소) · 세션이 끝나도 경험이 남아 학습에 재사용됨 · "a replay buffer that survives the session reset"
bank(ed) as experience
경험으로 축적되다, 쌓아두다 · 매번 초기화되지 않고 누적되는 학습을 가리킴 · "RL from environment, banked as experience"
deflationary
(과장을 걷어내는) 냉정한, 평가절하하는 · MCP를 과대포장 없이 있는 그대로 설명한다는 뜻 · "the video is deflationary and correct"
SFT
지도 미세조정(Supervised Fine-Tuning, SFT) · 정답 예시(추론 트레이스)로 베이스 모델을 파인튜닝하는 방법. "You can SFT the shape of thinking, not the thinking"
RL
강화학습(Reinforcement Learning, RL) · 환경과 상호작용하며 보상으로 학습하는 방식, SFT의 대안이자 탈출구로 제시됨. "RL from environment interaction, accumulated across sessions"
S1
스탠퍼드 S1(Stanford S1) · 추론 트레이스로 베이스 모델을 SFT하는 재현 레시피의 이름. "The recipe (Stanford S1, echoing Alpaca's instruction-tuning)"
Alpaca
알파카(Alpaca) · 초기 instruction-tuning의 대표 사례로, S1과 같은 학습 방식의 원조격 프로젝트. "echoing Alpaca's instruction-tuning"
DeepSeek R1
딥시크 R1(DeepSeek R1) · 추론 트레이스를 채집해오는 대상인 강한 추론 모델. "traces harvested from DeepSeek R1 or Gemini"
추론 모델을 S1 방식으로 재현하기 — DeepSeek R1·제미나이에서 뽑은 <think>…</think> 생각 과정으로 베이스 모델을 SFT — 는 작동하고, 바로 그게 함정을 드러냅니다: 모델에게 단계적 사고처럼 보이는 텍스트를 뱉도록 가르치는 것이지, 생각하게 만드는 게 아닙니다. 테스트 타임 스케일링은 그 패턴에 인퍼런스 토큰을 쓸 뿐, 가중치가 똑똑해지지 않습니다. 얼어붙은 가중치 모방자를 넘어서는 길은 경험 — 환경 상호작용에서의 RL, 세션을 넘어 누적된 — 입니다.
아직 범위 미정 — 읽고 재현한 뒤, 딱 하나를 측정. 레시피(스탠포드 S1, 알파카 인스트럭션 튜닝의 반복): 강한 추론 모델(DeepSeek R1, 제미나이 Thinking)에서 문제 + 전체 생각 과정 + 정답을 모아, 각각을 <think> 긴 추론 </think> 최종 답 형식으로 만들고, 베이스 모델을 SFT. 구현 팁: <think>는 특수 토큰일 필요 없이 — 평문으로도 동작 — 챗 템플릿 끝에 <think>를 미리 넣으면 모델이 긴 추론 구간을 시작하도록 강제됩니다. 그다음, 중요한 유일한 질문을 측정하세요: 정확도가 생각 덕분에 오르는가, 아니면 그냥 생각처럼 보이는 데 토큰을 더 써서 오르는가? 출처: sudoremove, 'Reasoning 모델 직접 만들기…'(youtube.com/watch?v=FOjq2WCDPZE). 주장·타이밍은 영상으로 확인.
왜
테스트 타임 스케일링은 진짜 레버입니다: 더 큰 모델 대신, 답하기 전에 단계적 구간에 인퍼런스 토큰을 쓴다. 수학·코딩에서 분명히 도움이 됩니다. 이 카드가 붙드는 질문은 왜 도움이 되는가이고 — S1 방식으로 재현하면 불편한 답이 나옵니다.
추론 모델 학습은 알고 보면 사고 과정을 향한 인스트럭션 튜닝입니다. 알파카가 '지시를 따르라'를 가르친 바로 그 machinery에, 이제 <think>…</think> 과정을 먹여 모델이 답 앞에 추론처럼 생긴 서두를 생성하도록 배웁니다. 이건 텍스트 패턴의 모방입니다. 영상이 집는 단어가 주입식입니다: 모델은 생각의 의상을 입고, 정직한 시험은 그 의상이 답을 바꾸는가 아니면 길이만 바꾸는가입니다.
왜 스스로는 모방 이상이 될 수 없는가. 사전학습 뒤 가중치는 얼어붙습니다; 모든 '생각'은 고정된 파라미터 안의 재조합입니다. 더 긴 <think> 구간은 이미 안에 있는 것을 재배열할 뿐 — 모델이 본 적 없는 사실이나 배운 적 없는 수를 더하지 않습니다. 그래서 SFT된 추론은 끌어내진 역량의 천장을 올리지, 역량의 천장을 올리지 않습니다. 이건 진짜 이득이면서 동시에 진짜 한계이고, 둘을 혼동하는 것이 '이제 생각한다'가 측정된 문장이 아니라 마케팅 문장이 되는 경로입니다.
다음 방향은 얼어붙은 가중치로부터의 탈출: 경험입니다. 새 능력이 가중치를 다시 읽어서 나올 수 없다면, 상호작용에서 나와야 합니다 — 가중치에 없는 정보를 찾는 딥리서치 에이전트, 클릭·실행하고 환경에서 보상을 받는 컴퓨터 유즈 에이전트(agents-computer-use). 그리고 결정적으로 누적에서: 세션 리셋을 견디는 리플레이 버퍼, 그래서 에이전트가 어제 한 일에서 배우지 매번 맨바닥에서 시작하지 않는 것. 환경에서의 RL을 경험으로 저축하는 것 — 그게 모방이 흉내 낼 수 없는 부분입니다. MCP에 대해 영상은 김을 빼고, 옳습니다: 더 나은 생태계를 가진 툴 호출일 뿐 — 에이전트가 닿는 범위를 넓히지, 에이전트의 본질을 깊게 하지 않습니다. 가져갈 정직한 평가 하나는 측정 가능합니다: 추론이 답을 바꾸는가, 아니면 토큰 수만 바꾸는가?
동작 방식
데모가 아니라 정독 노트 + 측정 하나입니다.
레시피, 그리고 실제로 가르치는 것
단계
S1 / 알파카식
모델이 배우는 것
수집
R1·제미나이에서 문제 + <think> 과정 + 정답
—
포맷
<think> 긴 추론 </think> 최종 답
추론 턴의 형태
SFT
그 과정으로 베이스 모델 파인튜닝
그 형태를 요청 시 뱉기
강제
프롬프트 끝에 <think> 프리필
매번 그 구간을 시작하기
형태 대 실력 — 결판내는 시험
같은 모델을, 강제된 <think> 구간을 넣고/빼고 홀드아웃 셋에서 돌립니다. 정확도가 토큰 수에 맞춰서만 오르고 구간을 캡하면 무너지면, 산 것은 생각이 아니라 길이입니다. 토큰 예산 아래서도 오르고 유지되면 구간이 진짜 일을 합니다. 대개는 여기서 실망하고 — 그래서 영상의 회의감입니다.
왜, 그리고 탈출구
한계
원인
탈출
새 사실·수 없음
사전학습 후 가중치 동결
다시 읽기가 아니라 상호작용
세션 기억상실
리셋을 견디는 게 없음
경험의 리플레이 버퍼
'추론'이 재조합
SFT가 패턴을 복사
환경이 보상하는 RL
다음 방향은, 세상에서 능력을 벌어 저축하는 딥리서치·컴퓨터 유즈 에이전트입니다. 교차: demonstration-is-not-a-specification(생각 과정은 추론의 시연이지 명세가 아니다 — 복사하면 표면만 복사), agents-computer-use(환경 상호작용 탈출), ai-engineering-is-framing-non-determinism(테스트 타임 스케일링은 같은 비결정성의 한 프레이밍), known-workflow-is-a-graph(추론 한 단계는 노드 하나 — 워크플로를 알면 결정론적 코드로 대체할 수 있을 때가 많다).
Jayverse에서의 위치
Rabbit: mandate 승인 로직을 모델의 서술이 아니라 결정론적 코드로 유지한다. 세션 키 정책 검사는 "모델이 추론해서 판단했다"가 아니라 규칙 엔진의 예/아니오여야 한다. 고정된 가중치는 재조합만 할 뿐 새 사실을 더하지 않는다는 이 카드의 지적과 같다.
Number: 추론 예산을 제한하고 결론이 바뀌는지 본다. Number의 어떤 글이 LLM의 사고 과정에 기대고 있다면, 추론 토큰을 제한하고 추천이 바뀌는지 확인하는 이 카드의 테스트를 그대로 적용한 뒤에야 그 추론에 결과의 공을 돌린다.
gitboard/CI: 에이전트가 만든 모든 산출물에 토큰 수를 결정과 함께 기록한다. alice-tech를 비롯한 모든 에이전트 리포트에서 "추론했다"를 확인 가능한 숫자로 바꾼다. harness 카드가 요구하는 것과 같은 원장 습관이다.
핵심 표현
이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.
Expression
뜻 · 쓰이는 자리
prefill
미리 채워 넣다 · 프롬프트 끝에 시작 토큰을 강제로 넣어 긴 추론을 유도 · "prefilling think at the end of the chat template"
wear the costume of
~의 옷을 입다(겉모습만 흉내 내다) · 모델이 사고하는 척만 함을 비유 · "the model wears the costume of thinking"
recombination
(기존 요소들의) 재조합 · 학습된 가중치 안에서 짜맞추기만 한다는 뜻 · "every 'thought' is recombination inside fixed parameters"
raise the ceiling of
~의 상한을 끌어올리다 · 진짜 능력이 아니라 끌어낼 수 있는 능력치가 올라감 · "raises the ceiling of elicited competence"
held-out set
(평가용으로) 따로 떼어둔 데이터셋 · 학습에 쓰지 않은 세트로 성능을 검증 · "on a held-out set"
cap the span
(구간·길이를) 상한선으로 제한하다 · 추론 토큰 길이를 강제로 줄여 테스트 · "collapses when you cap the span"
replay buffer
재생 버퍼(과거 경험 저장소) · 세션이 끝나도 경험이 남아 학습에 재사용됨 · "a replay buffer that survives the session reset"
bank(ed) as experience
경험으로 축적되다, 쌓아두다 · 매번 초기화되지 않고 누적되는 학습을 가리킴 · "RL from environment, banked as experience"
deflationary
(과장을 걷어내는) 냉정한, 평가절하하는 · MCP를 과대포장 없이 있는 그대로 설명한다는 뜻 · "the video is deflationary and correct"
SFT
지도 미세조정(Supervised Fine-Tuning, SFT) · 정답 예시(추론 트레이스)로 베이스 모델을 파인튜닝하는 방법. "You can SFT the shape of thinking, not the thinking"
RL
강화학습(Reinforcement Learning, RL) · 환경과 상호작용하며 보상으로 학습하는 방식, SFT의 대안이자 탈출구로 제시됨. "RL from environment interaction, accumulated across sessions"
S1
스탠퍼드 S1(Stanford S1) · 추론 트레이스로 베이스 모델을 SFT하는 재현 레시피의 이름. "The recipe (Stanford S1, echoing Alpaca's instruction-tuning)"
Alpaca
알파카(Alpaca) · 초기 instruction-tuning의 대표 사례로, S1과 같은 학습 방식의 원조격 프로젝트. "echoing Alpaca's instruction-tuning"
DeepSeek R1
딥시크 R1(DeepSeek R1) · 추론 트레이스를 채집해오는 대상인 강한 추론 모델. "traces harvested from DeepSeek R1 or Gemini"