Prompt engineering — the few-shot examples do most of the work

How you phrase and exemplify a task often changes accuracy more than which model you pick, and the discipline is measuring that rather than trusting intuition about wording.

Not yet scoped.

Why

The PoC runs the same task under zero-shot, few-shot and formatted prompts against a fixed eval set, turning prompt choices into a measured comparison.

How it works

Not yet built.

Where it lands in Jayverse

Auditor / gitboard: run agent-driven checks under a fixed eval set before trusting them. Compare zero-shot, few-shot and formatted prompts for authority audits and invariant reviews rather than tuning wording by intuition.
alice-tech: apply the same measured comparison to the daily tech-report summarization prompt. A fixed eval set catches drift before it silently degrades what gets logged.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression	뜻 · 쓰이는 자리
do most of the work	대부분의 역할을 하다·핵심 요인이다 · 결과를 좌우하는 가장 큰 요인을 가리킬 때. "the few-shot examples do most of the work"
trust intuition about	~에 대한 직감을 그냥 믿다 · 검증 없이 감각적 판단에 의존하는 것. "rather than trusting intuition about wording"
a fixed eval set	고정된 평가 데이터셋 · 여러 방식을 같은 기준으로 비교할 때 쓰는 세트. "against a fixed eval set"
a measured comparison	실측으로 비교한 것(감이 아니라 수치로) · 직관 대신 데이터로 판단하는 방식. "turning prompt choices into a measured comparison"
zero-shot / few-shot	예시 없이 / 몇 개의 예시로 하는 프롬프트 방식 · 모델에게 과제를 지시하는 서로 다른 방법. "under zero-shot, few-shot and formatted prompts"

← All Knowledge Notes · Workspace Index · Top ↑

프롬프트 엔지니어링 — 소수샷 예시가 대부분의 일을 한다

과제를 어떻게 표현하고 예시하느냐가 어느 모델을 고르느냐보다 정확도를 더 바꾸는 경우가 많고, 이 분야의 규율은 문구에 대한 직관을 믿는 대신 그것을 측정하는 것입니다.

아직 범위 미정.

왜

이 PoC는 고정된 평가 집합에 대해 같은 과제를 제로샷·소수샷·서식 프롬프트로 돌려, 프롬프트 선택을 측정된 비교로 바꿉니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

Auditor / gitboard: 에이전트 기반 체크를 신뢰하기 전에 고정된 평가셋으로 돌린다. 권한 감사와 불변식 리뷰에는 직관으로 문구를 조율하는 대신 zero-shot, few-shot, 포맷된 프롬프트를 비교한다.
alice-tech: 같은 측정 비교를 일일 테크 리포트 요약 프롬프트에도 적용한다. 고정된 평가셋은 기록되는 내용이 조용히 저하되기 전에 드리프트를 잡아낸다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression	뜻 · 쓰이는 자리
do most of the work	대부분의 역할을 하다·핵심 요인이다 · 결과를 좌우하는 가장 큰 요인을 가리킬 때. "the few-shot examples do most of the work"
trust intuition about	~에 대한 직감을 그냥 믿다 · 검증 없이 감각적 판단에 의존하는 것. "rather than trusting intuition about wording"
a fixed eval set	고정된 평가 데이터셋 · 여러 방식을 같은 기준으로 비교할 때 쓰는 세트. "against a fixed eval set"
a measured comparison	실측으로 비교한 것(감이 아니라 수치로) · 직관 대신 데이터로 판단하는 방식. "turning prompt choices into a measured comparison"
zero-shot / few-shot	예시 없이 / 몇 개의 예시로 하는 프롬프트 방식 · 모델에게 과제를 지시하는 서로 다른 방법. "under zero-shot, few-shot and formatted prompts"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑