Constitutional AI — alignment from written principles, not just raters

Constitutional AI has a model critique and revise its own outputs against a written set of principles, reducing reliance on human labels — and moving the value judgment into an auditable document.

Not yet scoped.

Why

The PoC studies the self-critique loop and where a principle set decides behavior, framing the constitution as the reviewable seat of the model's values.

How it works

Not yet built.

Where it lands in Jayverse

Personas: if a persona NFT ever gets autonomous, agent-driven behavior, write its behavior constraints as a reviewable constitution document rather than tuning only by example. This makes the persona's values auditable.
Rabbit: model session-key mandates on the critique-and-revise loop. Check a proposed agent action against the mandate text before executing it, not only the signature that authorized the mandate.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression	뜻 · 쓰이는 자리
critique and revise	스스로 비판하고 수정하다 · 모델이 자기 출력을 원칙에 비추어 점검하고 고치는 과정 · "critique and revise its own outputs"
reduce reliance on	~에 대한 의존을 줄이다 · 사람이 일일이 라벨링하지 않아도 되게 만든다는 뜻 · "reducing reliance on human labels"
auditable document	감사(검토) 가능한 문서 · 가치판단의 근거가 문서로 남아 누구나 검토할 수 있다는 뜻 · "moving the value judgment into an auditable document"
self-critique loop	자기비판 루프 · 모델이 스스로 출력을 검토하고 고치는 반복 과정 · "studies the self-critique loop and where"
the reviewable seat of	(가치판단이 담긴) 검토 가능한 근거지 · 판단 기준이 숨겨지지 않고 문서 형태로 존재한다는 비유 · "framing the constitution as the reviewable seat"
Constitutional AI	헌법적 AI(Anthropic이 제안한 정렬 기법) · 사람의 라벨 대신 성문화된 원칙 문서로 모델이 스스로 출력을 비판·수정하게 하는 방식. "Constitutional AI has a model critique and revise its own outputs"

← All Knowledge Notes · Workspace Index · Top ↑

헌법적 AI — 평가자만이 아니라 적힌 원칙에서 오는 정렬

헌법적 AI는 모델이 적힌 원칙 집합에 대해 자기 출력을 비평·수정하게 하여 인간 라벨 의존을 줄이고 — 가치 판단을 감사 가능한 문서로 옮깁니다.

아직 범위 미정.

왜

이 PoC는 자기 비평 루프와 원칙 집합이 행동을 결정하는 지점을 연구하여, 헌법을 모델 가치의 검토 가능한 자리로 규정합니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

Personas: 페르소나 NFT가 자율적인 에이전트 행동을 갖게 된다면, 예시로만 조정하는 대신 행동 제약을 검토 가능한 헌법 문서로 작성한다. 페르소나의 가치판단을 감사 가능하게 만든다.
Rabbit: 세션 키 mandate를 비판-수정 루프를 본떠 설계한다. mandate를 승인한 서명만 확인하는 것이 아니라, 실행 전에 제안된 에이전트 행동을 mandate 문서 자체에 대조해 검사한다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression	뜻 · 쓰이는 자리
critique and revise	스스로 비판하고 수정하다 · 모델이 자기 출력을 원칙에 비추어 점검하고 고치는 과정 · "critique and revise its own outputs"
reduce reliance on	~에 대한 의존을 줄이다 · 사람이 일일이 라벨링하지 않아도 되게 만든다는 뜻 · "reducing reliance on human labels"
auditable document	감사(검토) 가능한 문서 · 가치판단의 근거가 문서로 남아 누구나 검토할 수 있다는 뜻 · "moving the value judgment into an auditable document"
self-critique loop	자기비판 루프 · 모델이 스스로 출력을 검토하고 고치는 반복 과정 · "studies the self-critique loop and where"
the reviewable seat of	(가치판단이 담긴) 검토 가능한 근거지 · 판단 기준이 숨겨지지 않고 문서 형태로 존재한다는 비유 · "framing the constitution as the reviewable seat"
Constitutional AI	헌법적 AI(Anthropic이 제안한 정렬 기법) · 사람의 라벨 대신 성문화된 원칙 문서로 모델이 스스로 출력을 비판·수정하게 하는 방식. "Constitutional AI has a model critique and revise its own outputs"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑