Copy English

Why

The PoC runs one model at several bit-widths and measures the accuracy-versus-footprint curve, the number that decides whether local inference is viable.

How it works

Not yet built.

Where it lands in Jayverse

• Number: before deploying any local model for the research pipeline, run the accuracy-vs-footprint curve at a few bit-widths (8/4-bit) on real hardware, and pick the smallest bit-width that keeps accuracy above the decision threshold.
• Devnet: if Devnet ever hosts inference alongside Anvil, budget hardware from the measured footprint curve, not vendor claims, so "runs locally" is verified rather than assumed.

← All Knowledge Notes · Workspace Index · Top ↑

Copy 한국어

양자화 — 큰 모델을 작은 메모리에서 돌리기

양자화는 가중치를 더 낮은 정밀도(8비트, 4비트)로 저장해 큰 모델이 소박한 하드웨어에 들어가게 하며, 측정 가능한 정확도 하락을 큰 메모리·속도 이득과 맞바꿉니다.

아직 범위 미정.

왜

이 PoC는 한 모델을 여러 비트 폭으로 돌려 정확도 대 메모리 곡선을 측정합니다 — 로컬 추론이 가능한지 결정하는 숫자입니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

• Number: 연구 파이프라인용으로 로컬 모델을 배포하기 전에, 실제 하드웨어에서 몇 가지 비트폭(8비트/4비트)으로 정확도 대 용량 곡선을 측정하고, 결정 임계값 이상의 정확도를 유지하는 가장 작은 비트폭을 고른다.
• Devnet: Devnet이 Anvil과 함께 추론을 호스팅하게 된다면, 벤더 주장이 아니라 측정된 용량 곡선으로 하드웨어 예산을 잡아서 "로컬로 돈다"는 말이 가정이 아니라 검증된 사실이 되게 한다.

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑