Copy English

Why

This matters because it reframes two things jay's stack already leans on: what "planning" means for an agent, and where safety constraints should live. LeCun's position is that autoregressive token generation — pushing a fixed stack of layers once per token — is not reasoning, because humans think in an internal representation space and only externalize the result as language (14:19, 14:44, 14:58). The alternative he proposes, energy-based reasoning, treats acting as an optimization problem: propose a sequence of actions, let a world model predict the resulting state, and pick the sequence that minimizes an energy (cost) function subject to the goal and a set of guardrails (13:48, 15:19). The safety argument follows directly from that: an LLM can be jailbroken because its safety behavior is instructions competing with other instructions in the same token stream, but a guardrail wired into the energy function structurally rules out violating outputs during the optimization itself, rather than hoping the model declines (17:34, 18:23). That is a stronger claim than "add more RLHF" — it is a claim about where the constraint should sit architecturally.

How it works

Text scaling hits a data-volume ceiling

LLMs train on roughly 20–30 trillion tokens, on the order of 10^14 bytes — an amount of text a human could not finish reading in about 400,000 years (10:47). A 4-year-old receives a comparable order of magnitude, ~10^14 bytes, through vision and touch alone by that age (11:34). LeCun's point is not that text is worthless but that it cannot be the whole substrate for physical common sense — video and interaction data have to be part of the diet (02:45, 11:50).

Planning is optimization, not decoding

Instead of decoding tokens, an agent proposes candidate action sequences; a learned world model predicts the state each sequence leads to; an energy function scores each predicted state against the goal and the guardrails; the agent picks the action sequence with minimum energy (13:48, 15:19). Hierarchical planning follows from the same picture: getting from New York to Paris isn't planned as a sequence of 10ms muscle movements, it's planned as high-level sub-goals ("get to the airport," "board the flight") that get decomposed step by step — and LeCun flags this multi-level decomposition as robotics' core unsolved problem (19:07, 20:52).

Why generative video models are not world models

Video has effectively infinite plausible continuations (22:54): after a camera pan, trying to predict every pixel of the next frame forces the model to either collapse onto one arbitrary continuation or blur into the average of all of them (23:36, 24:41). LeCun's summary line is blunt: "don't call video generation a world model" (40:45, 41:00).

JEPA: predict in representation space, not pixel space

The Joint-Embedding Predictive Architecture sidesteps the pixel-reconstruction trap by encoding observations into an abstract representation space and predicting the next representation, not the next frame (25:39). The encoder is trained to discard whatever is unpredictable or irrelevant — noise, texture — and keep whatever carries physical causality (25:57, 40:19).

Stopping representation collapse

A predictor working purely in representation space has a degenerate shortcut available: map every input to the same constant vector and the prediction error goes to zero. LeCun's group blocks this with information-maximization terms and, more specifically, SIGReg (Sketched Isotropic Gaussian Regularization), which pushes the distribution of projected representations toward an isotropic Gaussian, combined with EMA-based teacher-student distillation as already used in I-JEPA, V-JEPA and DINO (28:48, 29:16, 42:54, 48:17).

Where it lands in Jayverse

• Theory: energy-based models, representation collapse and information maximization are new entries. They give the game-theory and optimization notes a concrete non-LLM example of "the objective shapes the behavior," which is the same lens worth applying to auction and matching mechanisms in Verex.
• Rabbit and the Auditor: guardrails belong in the objective, not the prompt. LeCun's jailbreak argument is the same shape as the case for agentic-systems-need-ontologies and the 7715 mandate enforcers — a session-key mandate that checks a structural constraint at execution time is closer to "guardrail inside the energy function" than a prompt-level instruction ever is.
• Number: V-JEPA's "surprise" signal is an anomaly detector. A prediction error that spikes when reality violates the model's learned expectation (a ball vanishing mid-air) is the same primitive as a market-anomaly detector flagging a price path that violates a learned baseline — worth a note in Number's indicator research.
• Dark Horse: this is the theory layer under the robotics cluster. Microduck, GEN-1.5, Finn and Gemini Robotics 2 are the applied bets on physical AI; Finn's sub-goal images in particular are a JEPA-flavored move — predict the next useful state, not the next pixel.
• Eng: a two-sentence answer to "what is JEPA" is good interview material — predict in representation space instead of pixel space, and let the encoder learn to discard what isn't predictable.

Verified and unverified

Verified on 2026-09-19: Yann LeCun has published the JEPA line of work — I-JEPA (2023), V-JEPA (2024), V-JEPA 2 (2025) — and the position paper "A Path Towards Autonomous Machine Intelligence" (2022), which lays out the energy-based, hierarchical-planning, guardrail-in-the-objective architecture described in this talk; energy-based models are a framing he has used for years; Moravec's paradox and Piaget's account of intelligence as adaptation to novel situations are established references, not talk-specific claims; DINO, DINOv2 and DINOv3 are real Meta self-supervised vision models; LeCun left Meta at the end of 2025 to start a world-model-focused venture. Taken from the summary and not independently checked: the exact 10^14-byte figures for LLM training data and for a 4-year-old's sensory intake, the "~400,000 years to read" figure, the details of SIGReg as described, the claim that V-JEPA-based depth estimation beats DINOv3, every timestamp, and the specific name "AMI Labs" for the new lab — stated here only as the talk's own claim.

Sources: YouTube — Yann LeCun, "World Models: Enabling the next AI revolution" (ETH Zurich) · LeCun, "A Path Towards Autonomous Machine Intelligence" (2022) · I-JEPA, V-JEPA, V-JEPA 2 papers (Meta AI) · related items: Tech #63 (a model is weights plus an objective), Tech #62 (agentic engineering writes the boundaries), Tech #100 (Microduck), gen-1-5-one-shot-physical-prompting, finn-robotics-state-of-the-art-pi-0-7, gemini-robotics-2-whole-body, agentic-systems-need-ontologies.

← All Knowledge Notes · Workspace Index · Top ↑

Copy 한국어

월드 모델 — LeCun, 픽셀 복원을 멈추고 목적함수 안에서 계획하라

얀 르쿤(Yann LeCun)이 ETH 취리히에서 한 강연 "World Models: Enabling the next AI revolution"(YouTube, 약 57분)에서, 지금의 LLM 스케일링 경로로는 인간 수준의 물리적 지능에 도달할 수 없다고 주장하며 자신의 연구팀이 구축해 온 대안 — JEPA, 에너지 기반 추론, 토큰 생성이 아닌 최적화를 통한 계획 — 을 제시한다. 핵심 주장은 이렇다. 기계는 이미 사람이 어려워하는 일(체스, 기호 적분, 수식 풀이)은 사람보다 잘하는 반면(01:26), 10세 어린이가 운전이나 집안일을 수십 시간 연습만으로 익히는 상식적·물리적 적응력은 없다(01:42, 02:01). 르쿤은 피아제(Piaget)의 지능 정의 — 처음 보는 상황에 적응하고 해결하는 능력 — 을 빌려 오고(04:17, 05:01), 텍스트만으로는 그것을 줄 수 없다고 말한다. 4세 유아가 시각과 촉각으로 받아들이는 원시 감각 데이터의 양이 LLM이 텍스트로 받아들이는 양과 대략 같은 자릿수이기 때문이다(11:34). 즉 부족한 것은 더 많은 토큰이 아니라 물리적 접지(grounding)라는 것이다(02:45, 11:50).

Jayverse에서 이것은 이미 대기열에 있는 로보틱스 항목들(Microduck, GEN-1.5, Finn, Gemini Robotics 2)의 이론적 배경이다. 이 항목들이 왜 원시 픽셀을 생성하는 대신 하위 목표와 예측된 상태 위에서 계획하는지를 설명해 주고, 더 일반적인 두 번째 논거 — 가드레일은 프롬프트가 아니라 목적함수 안에 있어야 한다 — 도 준다. 이는 Rabbit과 Auditor가 원래 작동해야 하는 방식과 이미 맞닿아 있다.

왜

이것이 중요한 이유는 jay의 스택이 이미 기대고 있는 두 가지 — 에이전트에게 "계획"이 무엇을 의미하는지, 안전 제약이 어디에 있어야 하는지 — 를 다시 규정하기 때문이다. 르쿤의 입장은, 고정된 레이어 스택을 토큰 하나마다 한 번씩 통과시키는 자기회귀적 토큰 생성은 추론이 아니라는 것이다. 인간은 내부 표현 공간에서 사고하고, 그 결과를 언어로 외부화할 뿐이기 때문이다(14:19, 14:44, 14:58). 그가 제안하는 대안인 에너지 기반 추론은 행동을 최적화 문제로 다룬다. 행동 시퀀스를 제안하고, 월드 모델이 그 결과 상태를 예측하게 하고, 목표와 가드레일 집합을 만족하면서 에너지(비용) 함수를 최소화하는 시퀀스를 고른다(13:48, 15:19). 안전 논거는 여기서 바로 따라 나온다. LLM은 탈옥될 수 있는데, 그 안전 행동이 같은 토큰 스트림 안에서 다른 지시들과 경쟁하는 또 하나의 지시일 뿐이기 때문이다. 반면 가드레일이 에너지 함수 안에 배선되어 있으면, 모델이 거절하기를 바라는 대신 최적화 과정 자체가 위배 출력을 구조적으로 배제한다(17:34, 18:23). 이것은 "RLHF를 더 하라"보다 강한 주장이다 — 제약이 아키텍처적으로 어디에 있어야 하는지에 대한 주장이다.

동작 방식

텍스트 스케일링은 데이터양의 한계에 부딪힌다

LLM은 약 20~30조 토큰, 자릿수로는 10^14바이트 규모를 학습한다. 이는 사람이 다 읽으려면 약 40만 년이 걸리는 양이다(10:47). 4세 유아는 그 나이가 될 때까지 시각과 촉각만으로 비슷한 자릿수, 약 10^14바이트를 받는다(11:34). 르쿤의 요점은 텍스트가 무가치하다는 것이 아니라, 텍스트만으로는 물리적 상식의 전체 기반이 될 수 없다는 것이다 — 비디오와 상호작용 데이터가 그 식단의 일부여야 한다(02:45, 11:50).

계획은 디코딩이 아니라 최적화다

토큰을 디코딩하는 대신, 에이전트는 후보 행동 시퀀스를 제안하고, 학습된 월드 모델이 각 시퀀스가 이끄는 상태를 예측하고, 에너지 함수가 각 예측 상태를 목표와 가드레일에 비추어 채점하고, 에이전트는 에너지가 최소인 행동 시퀀스를 고른다(13:48, 15:19). 계층적 계획도 같은 그림에서 나온다. 뉴욕에서 파리로 가는 것은 10ms 단위 근육 움직임의 시퀀스로 계획되지 않는다. "공항으로 이동" "탑승"과 같은 상위 하위 목표로 계획된 뒤 단계별로 분해된다 — 르쿤은 이 다층 분해를 로보틱스의 핵심 미해결 문제로 꼽는다(19:07, 20:52).

생성형 비디오 모델이 월드 모델이 아닌 이유

비디오는 그럴듯한 다음 전개가 사실상 무한하다(22:54). 카메라가 돌아간 뒤 다음 프레임의 모든 픽셀을 예측하려 하면, 모델은 임의의 한 전개로 붕괴하거나 모든 전개의 평균으로 흐려질 수밖에 없다(23:36, 24:41). 르쿤의 요약 발언은 단호하다. "비디오 생성을 월드 모델이라 부르지 말라"(40:45, 41:00).

JEPA — 픽셀 공간이 아니라 표현 공간에서 예측

JEPA(Joint-Embedding Predictive Architecture)는 관측을 추상 표현 공간으로 인코딩하고 다음 프레임이 아니라 *다음 표현*을 예측함으로써 픽셀 복원의 함정을 피한다(25:39). 인코더는 예측 불가능하거나 무관한 것 — 노이즈, 텍스처 — 은 버리고 물리적 인과를 담은 것만 남기도록 학습된다(25:57, 40:19).

표현 붕괴 막기

순수하게 표현 공간에서 동작하는 예측기에는 퇴화적인 지름길이 있다. 모든 입력을 같은 상수 벡터로 매핑하면 예측 오차가 0이 된다. 르쿤 팀은 이를 정보 최대화 항으로 막고, 더 구체적으로는 SIGReg(Sketched Isotropic Gaussian Regularization)로 막는다. 이는 투영된 표현의 분포를 등방성 가우시안 쪽으로 밀어붙이는 방법이며, I-JEPA·V-JEPA·DINO에서 이미 쓰이는 EMA 기반 교사-학생 증류와 결합된다(28:48, 29:16, 42:54, 48:17).

Jayverse에서의 위치

• Theory: 에너지 기반 모델, 표현 붕괴, 정보 최대화는 새 항목이다. LLM이 아닌 구체적 사례로 "목적함수가 행동을 결정한다"는 관점을 게임이론·최적화 노트에 더해 주며, 같은 렌즈를 Verex의 경매·매칭 메커니즘에도 적용해 볼 가치가 있다.
• Rabbit과 Auditor: 가드레일은 프롬프트가 아니라 목적함수 안에 있어야 한다. 르쿤의 탈옥 논거는 agentic-systems-need-ontologies와 7715 위임 집행기(mandate enforcer)를 지지하는 논거와 같은 모양이다. 실행 시점에 구조적 제약을 검사하는 세션 키 위임은, 프롬프트 수준 지시보다 "에너지 함수 안의 가드레일"에 훨씬 가깝다.
• Number: V-JEPA의 "놀람" 신호는 이상 탐지기다. 현실이 학습된 기대를 위배할 때(공이 공중에서 사라짐) 예측 오차가 튀는 것은, 학습된 기준선을 위배하는 가격 경로를 잡아내는 시장 이상 탐지기와 같은 원리다 — Number의 지표 연구에 적어 둘 만하다.
• Dark Horse: 이 항목은 로보틱스 클러스터 아래의 이론 층이다. Microduck, GEN-1.5, Finn, Gemini Robotics 2는 물리적 AI에 대한 응용 베팅이고, 특히 Finn의 하위 목표 이미지는 JEPA 풍의 움직임이다 — 다음 픽셀이 아니라 다음에 쓸모 있는 상태를 예측한다.
• Eng: "JEPA가 뭐냐"에 대한 두 문장짜리 답은 좋은 인터뷰 소재다 — 픽셀 공간이 아니라 표현 공간에서 예측하고, 예측 불가능한 것은 버리도록 인코더를 학습시킨다.

확인된 것과 미확인

2026-09-19 확인: 얀 르쿤은 JEPA 계열 연구 — I-JEPA(2023), V-JEPA(2024), V-JEPA 2(2025) — 와, 이 강연에서 설명된 에너지 기반·계층적 계획·목적함수 내 가드레일 아키텍처를 담은 입장 논문 "A Path Towards Autonomous Machine Intelligence"(2022)를 발표했다. 에너지 기반 모델은 그가 수년간 사용해 온 프레이밍이다. 모라벡의 역설과, 지능을 새로운 상황에 대한 적응으로 보는 피아제의 설명은 이 강연만의 주장이 아니라 정립된 참조 개념이다. DINO, DINOv2, DINOv3는 실제 메타의 자기지도 비전 모델이다. 르쿤은 2025년 말 메타를 떠나 월드 모델 중심의 벤처를 시작했다. 요약에서 가져왔고 독립 확인하지 않은 것: LLM 학습 데이터와 4세 유아의 감각 입력에 대한 정확한 10^14바이트 수치, "약 40만 년" 수치, SIGReg의 서술된 세부 사항, V-JEPA 기반 깊이 추정이 DINOv3보다 낫다는 주장, 모든 타임스탬프, 그리고 새 랩의 이름 "AMI Labs" — 여기서는 강연 자체의 주장으로만 표기한다.

출처: YouTube — 얀 르쿤, "World Models: Enabling the next AI revolution" (ETH 취리히) · LeCun, "A Path Towards Autonomous Machine Intelligence"(2022) · I-JEPA, V-JEPA, V-JEPA 2 논문(Meta AI) · 관련 항목: Tech #63(모델은 가중치 더하기 목적함수다), Tech #62(에이전틱 엔지니어링은 경계를 쓴다), Tech #100(Microduck), gen-1-5-one-shot-physical-prompting, finn-robotics-state-of-the-art-pi-0-7, gemini-robotics-2-whole-body, agentic-systems-need-ontologies.

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑