Copy English

Why

Robot foundation models today mostly still need per-task fine-tuning: collect demonstrations for the new task, run gradient descent, evaluate, redeploy. That loop is slow, and it does not scale to the long tail of small household or warehouse tasks a general-purpose robot would actually need to cover. If in-context learning works for physical policies close to the way it works for language models, the marginal cost of teaching a robot a new task drops from a training run to a demonstration — operationally closer to writing a prompt than shipping a fine-tune. That also raises the evidence bar rather than lowering it: a policy that "generalizes" in a highlight reel needs a held-out, stated success rate to be a claim instead of marketing, and 59% on short-horizon tasks is a far more useful number to reason about than an unbounded set of impressive clips.

How it works

Physical prompting: demonstrations in context, not gradients

Instead of updating weights per task, GEN-1.5 takes 3-12 seconds of demonstration — video, sensor and proprioceptive signal, plus language — directly as context, in the same role an LLM's text prompt plays. No backpropagation happens for the task itself at that point. Multiple prompts compose: two short demonstrated skills chained together in context become one continuous, longer task rather than two separate calls (00:26). The video reports two further transfers beyond straight repetition of the same demo: a behavior prompted inside a simulator carries over to the physical robot (sim-to-real), and the model can watch a bare human hand perform a task and have the robot hand imitate it immediately, with no robot-specific demonstration recorded first — human-to-robot in-context learning (00:26, 03:06).

Physical improvisation: using whatever is actually on the table

The second half of the demo is about generalizing past the literal props used in training, with no hardcoded rule for any of it. Having learned to sweep small blocks into a pile with a brush, the robot was handed a banana instead and used the banana the same way (01:52). Given a dustpan, it used the opposite hand to push blocks into it, then lifted and poured them into a bowl — a two-hand sequence not separately demonstrated (02:07). When a Lego brick got stuck to one gripper mid-task, the robot used its other hand to pull the brick off and kept going (02:33). Finding a bowl covered with paper, it removed the paper first before continuing the original task (02:38). And having learned to open a lid one-handed, it generalized to using two hands, and to other containers such as bottles and cups (02:43).

Architecture and training data

Per Generalist's blog post, the model is a large multimodal transformer that takes a 30-second window of video, sensor, proprioceptive and language input and outputs robot action trajectories at 100Hz. It was trained continuously for more than 8 months on real physical interaction data, with no simulation data included in pretraining — the sim-to-real transfer described above is a property of prompting at inference time, not a training-data source.

The number next to the reel

Generalist states an average 59% success rate across short-horizon manipulation tasks prompted with 3-12 seconds of demonstration data. The video is explicit that this is early-stage work: success rates are not uniformly high, and the company frames the improvisation behavior as something that emerged from a new training recipe rather than being explicitly trained or rule-based (01:28, 03:12).

Where it lands in Jayverse

• Game / Microduck: this is exactly the kind of policy a $399 body exists to run. Tech #100 covered Microduck as cheap open-source biped hardware; GEN-1.5's physical-prompting approach is the software half of that pairing — worth saying explicitly rather than leaving the two items unconnected.
• Theory: a live case study in in-context learning versus fine-tuning. Physical prompting with no gradient step, versus the 1-5 minute / 1-10 gradient-step fallback, is a concrete instance of the fine-tuning-vs-in-context tradeoff to file next to the LLM version of the same argument, with a real success-rate statistic attached.
• Auditor: the demo reel is not the evaluation. The checkable claim here is the 59% figure and the task set it was measured against, not the banana-as-brush clip; any Auditor rule about this item should cite the benchmark, not the montage.
• Eng: an interview-ready explanation of in-context learning that isn't the LLM example everyone already uses. Being able to explain "the demo goes in the context window instead of updating weights" with a physical robot as the example is a good alternate framing for a dev/team-lead interview.
• Dark Horse: robotics foundation models as a category to keep on the radar, alongside the security-research and mini-app candidates already tracked there.

Verified and unverified

Verified on 2026-09-19: Generalist AI is a real robotics foundation-model company with a prior release, GEN-0; its blog post "GEN-1.5: Embodied Foundation Models are One-Shot Learners" at generalistai.com/blog/gen-1.5 describes physical prompting with 3-12 second demonstrations and no gradient updates for new tasks, prompt composition, a large multimodal transformer with a 30-second input window across video/sensor/proprioceptive/language, 100Hz action output, training continuously for over 8 months on real physical data with no simulation in pretraining, and a 59% average success rate across short-horizon manipulation tasks — these architecture and benchmark details come from Generalist's own blog and announcement, independent of the video. Taken from the video summary and not independently checked: the specific improvisation examples (banana-as-brush, two-hand dustpan use, Lego removal, paper removal, lid-opening generalization), their timestamps, the 1-5 minute / 1-10 gradient-step figure for tasks that do need weight updates, and the exact wording and order of claims inside the 3.5-minute video itself.

Sources: YouTube — Generalist AI, "Introducing GEN-1.5, a one-shot learner" · Generalist AI blog, "GEN-1.5: Embodied Foundation Models are One-Shot Learners" (generalistai.com/blog/gen-1.5) · related items: Tech #100 (microduck-open-source-biped), Tech #63 (a model is weights plus an objective), Tech #62.

← All Knowledge Notes · Workspace Index · Top ↑

Copy 한국어

GEN-1.5 — 로봇이 단 몇 초짜리 시연 하나로 새 작업을 배운다, 파인튜닝 없이

로봇 파운데이션 모델 스타트업이자 앞서 GEN-0을 내놓은 Generalist AI가 약 3.5분짜리 YouTube 영상 "Introducing GEN-1.5, a one-shot learner"와 함께, 그 방법론을 설명하는 블로그 글 "GEN-1.5: Embodied Foundation Models are One-Shot Learners"를 공개했다. 주장은 이렇다. 범용 로봇 정책이 사람의 시연이나 몇 초 분량의 프롬프트만으로 별도의 장시간 파인튜닝 없이 새 조작 작업을 현장에서 바로 습득한다(00:18, 01:05). 이 메커니즘을 영상은 physical prompting이라 부른다. 몇 초의 시연 데이터가 LLM의 few-shot 프롬프트가 차지하는 것과 같은 자리, 즉 모델의 컨텍스트 윈도우로 그대로 들어가고, 그 작업 자체를 위한 가중치 업데이트는 없다. 가중치를 실제로 움직여야 하는 경우에도 Generalist는 1~5분 데이터와 1~10회 gradient step이면 충분하다고 밝힌다(00:42). 전체적으로 회사는 3~12초의 시연으로 프롬프팅한 짧은 호흡의 조작 작업들에서 평균 59% 성공률을 보고한다. 모델은 실제 물리적 상호작용 데이터로 8개월 넘게 계속 학습된 대형 멀티모달 트랜스포머이고, 사전학습에는 시뮬레이션 데이터가 포함되지 않았다.

Jayverse에서 이 항목은 로봇공학과 in-context learning 스레드에 반씩 걸쳐 있다. LLM식 "프롬프트에 넣어라" 트릭을 물리적 몸체에 적용한 가장 분명한 사례이고, 데모 릴 옆에 나란히 둘 숫자 하나가 딸려 온다. 59% 성공률은 바나나를 브러시 대신 쓰는 하이라이트 클립과는 다른 종류의 주장이고, 이 둘을 구분하는 것이 바로 이 노트가 하는 일이다.

왜

오늘날 로봇 파운데이션 모델은 대부분 작업마다 파인튜닝이 필요하다. 새 작업의 시연을 모으고, 경사하강을 돌리고, 평가하고, 재배포한다. 이 루프는 느리고, 범용 로봇이 실제로 다뤄야 할 가정·창고의 롱테일 소작업 전체를 감당하도록 확장되지 않는다. 물리적 정책에서도 in-context learning이 언어모델과 비슷하게 작동한다면, 로봇에게 새 작업을 가르치는 한계비용은 훈련 실행에서 시연 하나로 떨어진다. 파인튜닝을 배포하는 일보다 프롬프트를 쓰는 일에 운영상 더 가까워진다. 동시에 이것은 증거의 기준을 낮추는 게 아니라 높인다. 하이라이트 릴에서 "일반화한다"고 말하는 정책은 마케팅이 아니라 주장이 되려면 홀드아웃된, 명시된 성공률이 필요하고, 짧은 호흡 작업에서의 59%는 인상적인 클립의 무한한 나열보다 추론하기에 훨씬 쓸모 있는 숫자다.

동작 방식

Physical prompting: 그레이디언트가 아니라 컨텍스트 속의 시연

작업마다 가중치를 갱신하는 대신, GEN-1.5는 3~12초의 시연 — 비디오, 센서·고유수용감각 신호, 언어 — 을 LLM의 텍스트 프롬프트가 하는 것과 같은 역할로 그대로 컨텍스트에 넣는다. 그 시점에 그 작업을 위한 역전파는 일어나지 않는다. 여러 프롬프트는 조합된다. 짧게 시연된 두 스킬이 컨텍스트 안에서 이어지면 두 번의 별도 호출이 아니라 하나의 더 긴 연속 작업이 된다(00:26). 같은 시연의 단순 반복을 넘어서는 두 가지 전이도 영상에서 보고된다. 시뮬레이터 안에서 프롬프팅된 행동이 실제 로봇으로 전이되고(sim-to-real), 모델이 맨손인 사람의 손이 작업을 수행하는 것을 보고 로봇 손이 로봇 전용 시연을 먼저 녹화하지 않고도 바로 그것을 모방한다 — human-to-robot in-context learning(00:26, 03:06).

Physical improvisation: 지금 눈앞에 있는 것을 그대로 쓴다

데모의 후반부는 훈련에 쓰인 소품 그 자체를 넘어 일반화하는 내용이고, 그 어느 것도 하드코딩된 규칙이 없다. 브러시로 작은 블록들을 쓸어 모으는 법을 배운 로봇에게 대신 바나나를 쥐어 주자, 같은 방식으로 바나나를 사용했다(01:52). 쓰레받기가 주어지자 반대 손으로 블록을 쓰레받기 안으로 밀어 넣은 뒤 들어 올려 그릇에 부었다. 따로 시연되지 않은 양손 연계 동작이다(02:07). 작업 도중 레고 브릭이 한쪽 그리퍼에 끼자, 로봇은 반대 손으로 브릭을 떼어내고 계속했다(02:33). 그릇이 종이로 덮여 있는 것을 발견하자, 원래 작업을 이어가기 전에 먼저 종이를 치웠다(02:38). 그리고 한 손으로 뚜껑 여는 법을 배운 뒤에는 두 손을 쓰는 것으로, 그리고 병·컵 같은 다른 용기로도 일반화했다(02:43).

아키텍처와 학습 데이터

Generalist의 블로그 글에 따르면, 모델은 30초 분량의 비디오·센서·고유수용감각·언어 입력 창을 받아 100Hz로 로봇 행동 궤적을 출력하는 대형 멀티모달 트랜스포머다. 실제 물리적 상호작용 데이터로 8개월 넘게 계속 학습되었고, 사전학습에는 시뮬레이션 데이터가 들어가지 않았다. 앞서 설명한 sim-to-real 전이는 학습 데이터의 출처가 아니라 추론 시점 프롬프팅의 성질이다.

데모 릴 옆에 둘 숫자

Generalist는 3~12초의 시연 데이터로 프롬프팅한 짧은 호흡 조작 작업들에서 평균 59% 성공률을 밝힌다. 영상은 이것이 초기 단계 작업임을 분명히 한다. 성공률이 고르게 높지는 않고, 회사는 이 즉흥 행동을 명시적으로 학습시키거나 규칙으로 하드코딩한 것이 아니라 새로운 학습 레시피에서 창발한 것으로 설명한다(01:28, 03:12).

Jayverse에서의 위치

• Game / Microduck: 정확히 이런 정책을 돌리려고 399달러짜리 몸체가 존재한다. Tech #100은 저렴한 오픈소스 이족보행 하드웨어인 Microduck을 다뤘다. GEN-1.5의 physical prompting 접근은 그 조합의 소프트웨어 반쪽이고, 두 항목을 연결하지 않고 두는 것보다 명시적으로 말해 둘 가치가 있다.
• Theory: in-context learning 대 파인튜닝의 실사례. gradient step 없는 physical prompting과, 1~5분/1~10 gradient step의 대안을 나란히 놓으면 LLM 버전과 같은 파인튜닝 대 in-context 트레이드오프의 구체적 사례가 되고, 실제 성공률 통계까지 딸려 온다.
• Auditor: 데모 릴은 평가가 아니다. 여기서 검증 가능한 주장은 59%라는 수치와 그것이 측정된 작업 세트이지, 바나나-브러시 클립이 아니다. 이 항목에 대한 Auditor 규칙은 몽타주가 아니라 벤치마크를 인용해야 한다.
• Eng: 다들 쓰는 LLM 예시가 아닌, 면접에서 바로 쓸 in-context learning 설명. "시연이 가중치 업데이트 대신 컨텍스트 윈도우로 들어간다"를 물리적 로봇을 예로 설명할 수 있는 것은 dev/team-lead 면접에 쓸 좋은 대안적 프레이밍이다.
• Dark Horse: 로봇 파운데이션 모델을 계속 주시할 카테고리로. 이미 추적 중인 보안 연구, 미니앱 후보들 옆에 나란히 둔다.

확인된 것과 미확인

2026-09-19 확인: Generalist AI는 이전 릴리스 GEN-0을 가진 실제 로봇 파운데이션 모델 회사이고, generalistai.com/blog/gen-1.5의 블로그 글 "GEN-1.5: Embodied Foundation Models are One-Shot Learners"는 3~12초 시연으로 하는 physical prompting과 새 작업에 대한 가중치 업데이트 없음, 프롬프트 조합, 비디오·센서·고유수용감각·언어에 걸친 30초 입력 창을 가진 대형 멀티모달 트랜스포머, 100Hz 행동 출력, 사전학습에 시뮬레이션 없이 실제 물리 데이터로 8개월 넘게 계속된 학습, 짧은 호흡 조작 작업들에서 평균 59% 성공률을 설명한다 — 이 아키텍처·벤치마크 세부는 영상과 별개로 Generalist 자체 블로그와 발표에서 나온 것이다. 영상 요약에서 가져왔고 독립 확인하지 않은 것: 구체적 즉흥 사례들(바나나-브러시, 양손 쓰레받기 사용, 레고 제거, 종이 제거, 뚜껑 열기 일반화)과 그 타임스탬프, 가중치 업데이트가 필요한 경우의 1~5분/1~10 gradient step 수치, 3.5분 영상 안의 정확한 표현과 순서.

출처: YouTube — Generalist AI, "Introducing GEN-1.5, a one-shot learner" · Generalist AI 블로그, "GEN-1.5: Embodied Foundation Models are One-Shot Learners" (generalistai.com/blog/gen-1.5) · 관련 항목: Tech #100(microduck-open-source-biped), Tech #63(모델은 가중치 더하기 목적함수다), Tech #62.

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑