Mixture of Experts — a big model that only runs part of itself
MoE models route each token to a few of many expert sub-networks, so total parameters can be huge while compute per token stays modest — the architecture behind several frontier models.
Not yet scoped.
Why
The PoC studies the routing mechanism and the capacity-versus-compute tradeoff, explaining how a model can be 'large' and 'cheap to run' at once.
How it works
Not yet built.
Where it lands in Jayverse
Personas/Rabbit: if Jayverse ever hosts its own agent model instead of calling an API, MoE routing is the option that buys large-model quality at per-token cost. Note it as a future infra choice, not something to adopt now.
Number: log the capacity-versus-compute tradeoff as a line item for any future inference-cost estimate Number publishes. It explains why a "large" model can still be cheap to run.
Key expressions
Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.
Expression
뜻 · 쓰이는 자리
route
토큰·요청 등을 배정하다, 보내다 · 각 토큰이 어느 전문가 네트워크로 가는지 결정한다는 뜻. "MoE models route each token to a few of many"
modest
수치가 적당한, 크지 않은 · 파라미터는 많아도 실제 연산량은 크지 않다는 뜻. "compute per token stays modest"
capacity-versus-compute tradeoff
용량과 연산량 사이의 상충 관계 · 모델이 크면서도 가벼울 수 있는 이유. "the capacity-versus-compute tradeoff"
frontier models
최전선 모델 · 현재 가장 앞선 최신 대형 모델들을 가리킴. "the architecture behind several frontier models"
MoE
전문가 혼합 모델(Mixture of Experts) · 토큰마다 일부 전문가 서브네트워크만 작동시켜 총 파라미터는 크지만 연산량은 적게 유지하는 구조. "MoE models route each token to a few of many expert sub-networks"
MoE 모델은 각 토큰을 여러 전문가 하위망 중 몇 개로 라우팅하여, 총 파라미터는 거대하되 토큰당 계산은 소박하게 유지합니다 — 여러 프런티어 모델 뒤의 아키텍처입니다.
아직 범위 미정.
왜
이 PoC는 라우팅 메커니즘과 용량 대 계산 트레이드오프를 연구하여, 모델이 어떻게 '크면서' '돌리기 싸게' 될 수 있는지 설명합니다.
동작 방식
아직 만들지 않음.
Jayverse에서의 위치
Personas/Rabbit: Jayverse가 API 호출 대신 자체 에이전트 모델을 호스팅하게 된다면, MoE 라우팅은 토큰당 비용으로 대형 모델 품질을 사는 선택지다. 지금 채택할 것이 아니라 미래 인프라 옵션으로 적어둔다.
Number: Number가 향후 추론 비용을 추정해 공개할 때 용량 대 연산량 트레이드오프를 항목으로 적어둔다. "큰" 모델이 여전히 싸게 돌 수 있는 이유를 이게 설명한다.
핵심 표현
이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.
Expression
뜻 · 쓰이는 자리
route
토큰·요청 등을 배정하다, 보내다 · 각 토큰이 어느 전문가 네트워크로 가는지 결정한다는 뜻. "MoE models route each token to a few of many"
modest
수치가 적당한, 크지 않은 · 파라미터는 많아도 실제 연산량은 크지 않다는 뜻. "compute per token stays modest"
capacity-versus-compute tradeoff
용량과 연산량 사이의 상충 관계 · 모델이 크면서도 가벼울 수 있는 이유. "the capacity-versus-compute tradeoff"
frontier models
최전선 모델 · 현재 가장 앞선 최신 대형 모델들을 가리킴. "the architecture behind several frontier models"
MoE
전문가 혼합 모델(Mixture of Experts) · 토큰마다 일부 전문가 서브네트워크만 작동시켜 총 파라미터는 크지만 연산량은 적게 유지하는 구조. "MoE models route each token to a few of many expert sub-networks"