Tokenization — the model does not see characters

Text is split into subword tokens before a model sees it, which is why models miscount letters, why some languages cost more tokens, and why a prompt's real length is not its character count.

Not yet scoped.

Why

The PoC tokenizes English and Korean with the same tokenizer to show the cost asymmetry and the counting failures, making the invisible preprocessing visible.

How it works

Not yet built.

Where it lands in Jayverse

Number: budget LLM cost by token count per language, not character count. If Number ever pipes readings through an LLM for summarization or tagging, estimate cost separately for Korean and English input, since the same tokenizer charges Korean more per character.
alice-tech: log actual token counts for the daily report. Since alice-tech is generated and read in both languages, track token counts per report rather than word counts, to catch cost drift the two languages produce through the same tokenizer.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression	뜻 · 쓰이는 자리
subword	하위 단어(글자보다 크고 단어보다 작은 단위) · 텍스트가 잘리는 단위를 가리킴 · "Text is split into subword tokens"
miscount	잘못 세다 · 모델이 글자 수를 틀리게 세는 이유를 설명 · "why models miscount letters"
cost asymmetry	비용의 비대칭 · 언어마다 토큰 비용이 다르게 드는 현상 · "to show the cost asymmetry"
invisible preprocessing	눈에 안 보이는 전처리 · 토큰화가 겉으로 드러나지 않는 준비 단계임을 강조 · "making the invisible preprocessing visible"
split into	~로 쪼개지다, 분할되다 · 텍스트가 모델에 들어가기 전 토큰으로 나뉨 · "Text is split into subword tokens before"

← All Knowledge Notes · Workspace Index · Top ↑

토크나이제이션 — 모델은 문자를 보지 않는다

텍스트는 모델이 보기 전에 서브워드 토큰으로 쪼개지며, 그래서 모델이 글자를 잘못 세고, 어떤 언어는 토큰이 더 들고, 프롬프트의 실제 길이가 문자 수가 아닙니다.

아직 범위 미정.

왜

이 PoC는 같은 토크나이저로 영어와 한국어를 토큰화해 비용 비대칭과 세기 실패를 보이며, 보이지 않는 전처리를 드러냅니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

Number: LLM 비용을 언어별 토큰 수로 예산 잡는다, 글자 수가 아니라. Number가 읽기값을 요약이나 태깅을 위해 LLM에 넣는다면, 한국어와 영어 입력의 비용을 따로 추정한다. 같은 토크나이저라도 한국어가 글자당 더 비싸기 때문이다.
alice-tech: 일일 리포트의 실제 토큰 수를 기록한다. alice-tech는 두 언어로 생성되고 읽히므로, 단어 수가 아니라 보고서별 토큰 수를 추적해 같은 토크나이저를 통과한 두 언어가 만드는 비용 편차를 잡아낸다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression	뜻 · 쓰이는 자리
subword	하위 단어(글자보다 크고 단어보다 작은 단위) · 텍스트가 잘리는 단위를 가리킴 · "Text is split into subword tokens"
miscount	잘못 세다 · 모델이 글자 수를 틀리게 세는 이유를 설명 · "why models miscount letters"
cost asymmetry	비용의 비대칭 · 언어마다 토큰 비용이 다르게 드는 현상 · "to show the cost asymmetry"
invisible preprocessing	눈에 안 보이는 전처리 · 토큰화가 겉으로 드러나지 않는 준비 단계임을 강조 · "making the invisible preprocessing visible"
split into	~로 쪼개지다, 분할되다 · 텍스트가 모델에 들어가기 전 토큰으로 나뉨 · "Text is split into subword tokens before"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑