A model is weights plus a next-token objective — fine-tuning aligns it, it does not teach it
IBM Technology's five-minute explainer "How Large Language Models Work" (in the 2026-09-18 Gemini briefing) is the shortest correct account of the object every Jayverse agent is built on. A large language model is a foundation model: pre-trained on petabytes of unlabeled text and code with a self-supervised objective, predict the next token, and made of parameters, billions of adjustable weights that end up encoding grammar, relational knowledge and procedural patterns as statistics. A Transformer's attention heads carry context across a sequence; training minimises the loss between the predicted next token and the real one, over and over, across all the weights. Pre-training gives general capability; domain-specific fine-tuning then shapes the model for a job, chatbots, code generation, analysis pipelines. Nothing in the pipeline stores a fact as a fact or a rule as a rule.
For Jayverse the one sentence that matters is the last one. The model is a compressed statistical picture of its training text, steered by an objective. Fine-tuning moves the picture toward a style or a domain; it does not install a checklist, an invariant or a permission. That is why the agentic-engineering item (#61) puts boundaries, tools and evaluations outside the model, why the harness item (#113) governs agents from the outside, and why "the model knows our rules" is never an acceptable line in a design review. Status on 2026-09-18: this is settled textbook material; the item exists so the Theory LLM stubs (#207 to #210) have a one-page anchor and so the argument for external verification has its root written down.
Why
Every design decision about agents in these notes rests on what a model is not. It is not a database: a fact appears in its output because the statistics favour it, and it can be replaced by a plausible alternative with no error raised. It is not a rule engine: an instruction in the prompt is a strong statistical hint, not a constraint. It is not a ledger: it has no memory of what it said unless the text is put back in front of it. Those three absences are exactly the three things a financial service needs, correctness of fact, enforcement of rule, continuity of state, and they are why the surrounding system carries them.
The explainer is also a useful corrective to the hype in the other direction. The reason the same weights can write Solidity, summarise a bill and translate Korean is that all three are next-token problems over text the model has seen enough of. General capability is real; it is just not the same thing as reliability, and fine-tuning trades some of the first for a directed version of the second, never for a guarantee.
How it works
Anatomy in one table
Part
What it is
What it is not
Parameters
billions of weights adjusted during training
stored facts or rules
Pre-training
self-supervised next-token prediction on petabytes of text and code
learning from labelled truth
Attention
heads that let each position weigh earlier positions
memory beyond the context window
Loss
gap between predicted and actual next token, minimised iteratively
a correctness score on facts
Fine-tuning
further training on domain data to shape behaviour
installing constraints
From explainer to design rule
Facts the agent must get right come from retrieval or tools, and are checked. Rules the agent must obey live in code the model cannot edit, mandates, invariants, permission tables. State the agent must remember is written down and re-read. The model supplies language, planning and pattern completion, which is a great deal, and nothing else.
Where it lands in Jayverse
Rabbit: no permission lives in a prompt. Every cap, target list and expiry an agent respects is enforced by the mandate contract or the wallet policy, and the tests check the enforcement path, never the model's compliance.
Verex resolution and Number readings: facts come from a source, not a model. Any number an agent reports about a market or a price carries the tool call that produced it; an unsourced figure is a bug, and the copy-text rule on these pages is the same discipline for prose.
Theory: anchor the LLM stubs here. Attention (#207), tokenization (#208), KV cache and mixture of experts each explain one row of the table above; link them from this page so the curriculum has a spine.
Hiring and English #32: say what fine-tuning does not do. The interview answer about AI use is stronger with the sentence "fine-tuning aligns, it does not teach", because it shows you know where verification has to live.
Verified and unverified
Verified on 2026-09-18: the video's title, channel and length as listed; the description of pre-training, parameters, attention, next-token loss and fine-tuning is standard and consistent with the Transformer and foundation-model literature. Not verified: exact wording of the video, which was not re-watched for this item. The design rules in the last two sections are this site's, not IBM's.
Sources: IBM Technology — How Large Language Models Work, YouTube · Gemini YouTube briefing 2026-09-18 · related items: Agentic engineering writes the boundaries (#61); Mamba trades attention for a selective state (#62); Attention (#207); Tokenization (#208)
Key expressions
Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.
Expression
뜻 · 쓰이는 자리
foundation model
파운데이션 모델(광범위한 데이터로 사전학습해 여러 일에 맞출 수 있는 모델) · LLM의 상위 범주. "A large language model is a foundation model"
self-supervised
자기지도의(라벨 없이 데이터 자체에서 목표를 만드는) · 다음 토큰 예측이 그 예. "with a self-supervised objective"
next-token objective
다음 토큰 목표 · 모델이 최적화하는 단 하나의 과제. "weights plus a next-token objective"
loss
손실(예측과 정답의 차이) · 학습이 최소화하는 값. "minimises the loss between the predicted next token and the real one"
fine-tuning
파인튜닝(사전학습된 모델을 도메인 데이터로 추가 학습) · 정렬은 하지만 규칙을 설치하지는 않음. "fine-tuning aligns it, it does not teach it"
petabytes
페타바이트(10¹⁵ 바이트) · 학습 데이터 규모를 말할 때. "petabytes of unlabeled text and code"
a strong statistical hint, not a constraint
강한 통계적 힌트이지 제약이 아니다 · 프롬프트 지시의 성격을 정확히. "an instruction in the prompt is a strong statistical hint"
corrective
교정(과장을 바로잡는 것) · 반대 방향 주장을 다룰 때. "a useful corrective to the hype"
anchor
기준점(다른 것을 붙들어 두는 자리) · 커리큘럼의 중심 페이지를 말할 때. "have a one-page anchor"
spine
척추(전체를 세우는 중심 구조) · 커리큘럼·문서의 뼈대. "so the curriculum has a spine"
unsourced
출처 없는 · 근거 없이 보고된 숫자를 지적할 때. "an unsourced figure is a bug"
context window
문맥 창(모델이 한 번에 볼 수 있는 토큰 범위) · 어텐션의 기억 한계. "memory beyond the context window"
IBM Technology의 5분 설명 영상 "How Large Language Models Work"(2026-09-18 Gemini 브리핑)는 모든 Jayverse 에이전트가 세워진 그 대상에 대한 가장 짧고 올바른 설명입니다. 대규모 언어 모델은 파운데이션 모델입니다. 페타바이트의 라벨 없는 텍스트와 코드로 자기지도 목표, 즉 다음 토큰 예측으로 사전학습되고, 파라미터, 수십억 개의 조정 가능한 가중치로 이루어져 문법, 관계 지식, 절차 패턴을 통계로 담게 됩니다. 트랜스포머의 어텐션 헤드가 시퀀스에 걸쳐 문맥을 운반하고, 학습은 예측한 다음 토큰과 실제 토큰 사이의 손실을 모든 가중치에 걸쳐 반복해서 최소화합니다. 사전학습이 일반 능력을 주고, 도메인 특화 파인튜닝이 모델을 챗봇, 코드 생성, 분석 파이프라인 같은 일에 맞게 다듬습니다. 파이프라인의 어느 것도 사실을 사실로, 규칙을 규칙으로 저장하지 않습니다.
Jayverse에 중요한 한 문장은 마지막 문장입니다. 모델은 목표에 의해 조향된, 학습 텍스트의 압축된 통계적 그림입니다. 파인튜닝은 그림을 스타일이나 도메인 쪽으로 옮기고, 체크리스트나 불변식이나 권한을 설치하지는 않습니다. 그래서 에이전틱 엔지니어링 항목(#61)이 경계·도구·평가를 모델 밖에 두고, 하네스 항목(#113)이 에이전트를 밖에서 통치하고, "모델이 우리 규칙을 안다"는 설계 리뷰에서 절대 받아들일 수 없는 문장입니다. 2026-09-18 기준 상태: 정착된 교과서 내용입니다. 이 항목은 Theory의 LLM 스텁(#207~#210)이 한 페이지 기준점을 갖고, 외부 검증 논거의 뿌리가 적혀 있도록 존재합니다.
왜
이 노트의 에이전트에 관한 모든 설계 결정은 모델이 무엇이 아닌가에 기댑니다. 데이터베이스가 아닙니다. 사실이 출력에 나오는 것은 통계가 그것을 선호하기 때문이고, 오류 없이 그럴듯한 대안으로 바뀔 수 있습니다. 규칙 엔진이 아닙니다. 프롬프트의 지시는 강한 통계적 힌트이지 제약이 아닙니다. 원장이 아닙니다. 텍스트를 다시 앞에 놓지 않으면 자기가 한 말을 기억하지 못합니다. 이 세 부재가 금융 서비스가 필요로 하는 바로 그 셋, 사실의 정확성, 규칙의 강제, 상태의 연속성이고, 그래서 주변 시스템이 그것들을 담습니다.
설명 영상은 반대 방향의 과장에 대한 유용한 교정이기도 합니다. 같은 가중치가 Solidity를 쓰고 법안을 요약하고 한국어를 번역할 수 있는 이유는 셋 모두 모델이 충분히 본 텍스트 위의 다음 토큰 문제이기 때문입니다. 일반 능력은 실재합니다. 다만 신뢰성과 같은 것이 아니고, 파인튜닝은 첫째의 일부를 둘째의 방향성 있는 버전과 바꾸는 것이며 보증과 바꾸는 것은 결코 아닙니다.
동작 방식
표 하나로 본 해부
부분
무엇인가
무엇이 아닌가
파라미터
학습 중 조정되는 수십억 가중치
저장된 사실이나 규칙
사전학습
페타바이트 텍스트·코드에 대한 자기지도 다음 토큰 예측
라벨된 진실에서의 학습
어텐션
각 위치가 이전 위치들에 가중치를 주게 하는 헤드
문맥 창 밖의 기억
손실
예측과 실제 다음 토큰의 차이, 반복 최소화
사실에 대한 정확도 점수
파인튜닝
도메인 데이터로 추가 학습해 행동을 다듬음
제약의 설치
설명에서 설계 규칙으로
에이전트가 맞혀야 하는 사실은 검색이나 도구에서 오고 검사된다. 에이전트가 지켜야 하는 규칙은 모델이 편집할 수 없는 코드에 산다. 위임, 불변식, 권한 표. 에이전트가 기억해야 하는 상태는 적어두고 다시 읽는다. 모델은 언어, 계획, 패턴 완성을 공급하고, 그것은 대단한 것이지만, 그 밖의 것은 아니다.
Jayverse에서의 위치
Rabbit: 어떤 권한도 프롬프트에 살지 않는다. 에이전트가 지키는 모든 한도, 대상 목록, 만기는 위임 컨트랙트나 지갑 정책이 강제하고, 테스트는 모델의 순응이 아니라 강제 경로를 검사한다.
Verex 정산과 Number 읽기: 사실은 모델이 아니라 출처에서 온다. 에이전트가 마켓이나 가격에 대해 보고하는 모든 숫자는 그것을 만든 도구 호출을 달고 있다. 출처 없는 수치는 버그이고, 이 페이지들의 복사 텍스트 규칙은 산문에 대한 같은 규율이다.
Theory: LLM 스텁을 여기에 고정한다. 어텐션(#207), 토크나이제이션(#208), KV 캐시, 전문가 혼합은 각각 위 표의 한 행을 설명한다. 이 페이지에서 링크해서 커리큘럼에 척추를 준다.
채용과 English #32: 파인튜닝이 하지 않는 것을 말한다. AI 사용에 대한 면접 답은 "파인튜닝은 정렬하지, 가르치지 않는다"는 문장으로 더 강해진다. 검증이 어디에 살아야 하는지 안다는 것을 보여주기 때문이다.
확인된 것과 미확인
2026-09-18에 확인한 것: 적힌 대로의 영상 제목, 채널, 길이; 사전학습, 파라미터, 어텐션, 다음 토큰 손실, 파인튜닝의 설명은 표준적이고 트랜스포머·파운데이션 모델 문헌과 일치한다. 미확인: 영상의 정확한 문구. 이 항목을 위해 다시 보지 않았다. 마지막 두 절의 설계 규칙은 IBM이 아니라 이 사이트의 것이다.