Why

The PoC plants an injection in a document an agent reads and shows it exfiltrating or acting out of scope, then the partial defenses (isolation, allowlists, human-in-the-loop) — the security core of the whole agent stack.

How it works

Not yet built.

Where it lands in Jayverse

Rabbit: treat any content an agent reads (a fetched page, a tool result) as data, never instruction. Isolate the read path from the mandate/transaction-proposal path, and allowlist what an agent-read page is allowed to trigger.
gitboard/CI: require human-in-the-loop before any LLM-parsed output drives an action. If a CI or gitboard automation step ever feeds model output into auto-merge or auto-deploy, don't trust the parsed intent without a human check.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression	뜻 · 쓰이는 자리
tell X from Y	X와 Y를 구별하다 · LLM이 데이터와 명령을 구별하지 못한다는 핵심 문제. "cannot reliably tell data from instructions"
hijack	(권한·흐름을) 탈취하다, 가로채다 · 텍스트 하나가 에이전트를 장악할 수 있다는 뜻. "can hijack it"
rising stakes	커지는 위험 부담 · 에이전트 권한이 늘어날수록 위험도 커진다는 뜻. "rising stakes as agents gain permissions"
human-in-the-loop	(자동화 중간에) 사람이 개입해 확인하는 구조 · 부분적 방어책 중 하나로 언급됨. "human-in-the-loop"
no clean fix	깔끔한 해결책이 없는 · 이 부류의 문제가 완전히 해결되지 않았다는 뜻. "the class with no clean fix"

← All Knowledge Notes · Workspace Index · Top ↑

프롬프트 인젝션 — 신뢰할 수 없는 텍스트가 명령이 된다

LLM 에이전트는 데이터와 명령을 안정적으로 구분하지 못하므로, 가져온 페이지나 도구 결과 속 텍스트가 그것을 탈취할 수 있습니다 — 깔끔한 해법이 없고 에이전트가 권한을 얻을수록 위험이 커지는 계급입니다.

아직 범위 미정.

왜

이 PoC는 에이전트가 읽는 문서에 인젝션을 심어 유출하거나 범위를 벗어나 행동하는 것을 보인 뒤 부분적 방어책(격리, 허용목록, 인간 개입)을 보입니다 — 에이전트 스택 전체의 보안 핵심입니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

Rabbit: 에이전트가 읽는 모든 콘텐츠(가져온 페이지, 툴 결과)를 지시가 아니라 데이터로 취급한다. 읽기 경로를 매니데이트/트랜잭션 제안 경로와 분리하고, 에이전트가 읽은 페이지가 무엇을 트리거할 수 있는지 화이트리스트로 제한한다.
gitboard/CI: LLM이 파싱한 출력이 액션을 구동하기 전에 사람 개입을 요구한다. CI나 gitboard 자동화 단계가 모델 출력을 자동 머지나 자동 배포에 연결한다면, 사람 확인 없이 파싱된 의도를 신뢰하지 않는다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression	뜻 · 쓰이는 자리
tell X from Y	X와 Y를 구별하다 · LLM이 데이터와 명령을 구별하지 못한다는 핵심 문제. "cannot reliably tell data from instructions"
hijack	(권한·흐름을) 탈취하다, 가로채다 · 텍스트 하나가 에이전트를 장악할 수 있다는 뜻. "can hijack it"
rising stakes	커지는 위험 부담 · 에이전트 권한이 늘어날수록 위험도 커진다는 뜻. "rising stakes as agents gain permissions"
human-in-the-loop	(자동화 중간에) 사람이 개입해 확인하는 구조 · 부분적 방어책 중 하나로 언급됨. "human-in-the-loop"
no clean fix	깔끔한 해결책이 없는 · 이 부류의 문제가 완전히 해결되지 않았다는 뜻. "the class with no clean fix"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑