Multimodal — one model that reads images and text together

Vision-language models take pixels and tokens in the same context, enabling screenshot understanding and document parsing — and inheriting prompt-injection risk through images, not just text.

Not yet scoped.

Why

The PoC runs a VLM on a screenshot task and shows both the capability and an image-borne injection, connecting multimodal power to its new attack surface.

How it works

Not yet built.

Where it lands in Jayverse

Auditor: treat any Jayverse agent that reads a user-supplied image (portal screenshots, support flows) as a prompt-injection surface. Extend the same allowlist/scoping discipline applied to text tool calls to image inputs.
Number: if Number ever parses scanned documents or chart images for readings, run the injection PoC first. Verify a malicious image can't smuggle instructions into the extracted data before trusting the pipeline.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression	뜻 · 쓰이는 자리
vision-language model	이미지와 언어를 함께 처리하는 모델 · 화면·문서 이해 능력의 기반 기술. "Vision-language models take pixels and tokens in the same context"
inherit (a risk)	(위험을) 그대로 물려받다, 안고 가다 · 이미지 입력이 기존 프롬프트 인젝션 위험을 그대로 이어받는다는 뜻. "inheriting prompt-injection risk through images"
image-borne	이미지를 매개로 한, 이미지를 통해 전달되는 · 텍스트가 아닌 이미지로 전달되는 인젝션 공격. "an image-borne injection"
connect X to Y	X를 Y와 연결짓다 · 멀티모달의 능력과 새로운 공격 표면을 잇는 관계. "connecting multimodal power to its new attack surface"
in the same context	같은 맥락(문맥) 안에서 · 픽셀과 토큰을 하나의 문맥으로 함께 처리한다는 뜻. "take pixels and tokens in the same context"
VLM	시각-언어 모델(Vision-Language Model)의 약어 · 스크린샷 과제 실습에서 본문이 실제로 사용한 축약 표기. "The PoC runs a VLM on a screenshot task"

← All Knowledge Notes · Workspace Index · Top ↑

멀티모달 — 이미지와 텍스트를 함께 읽는 한 모델

비전-언어 모델은 픽셀과 토큰을 같은 컨텍스트에 받아 스크린샷 이해와 문서 파싱을 가능하게 하며 — 텍스트만이 아니라 이미지를 통한 프롬프트 인젝션 위험도 물려받습니다.

아직 범위 미정.

왜

이 PoC는 스크린샷 과제에서 VLM을 돌려 능력과 이미지로 실린 인젝션을 함께 보이며, 멀티모달의 힘을 그 새 공격 표면으로 연결합니다.

동작 방식

아직 만들지 않음.

Jayverse에서의 위치

Auditor: 사용자가 제공한 이미지(포털 스크린샷, 지원 플로우)를 읽는 모든 Jayverse 에이전트를 프롬프트 인젝션 표면으로 취급한다. 텍스트 도구 호출에 적용하는 것과 같은 허용목록/범위 제한 원칙을 이미지 입력에도 확장한다.
Number: Number가 스캔 문서나 차트 이미지를 파싱해 읽기를 만든다면 인젝션 PoC를 먼저 돌린다. 파이프라인을 신뢰하기 전에 악의적 이미지가 추출 데이터에 지시문을 몰래 넣을 수 없는지 검증한다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression	뜻 · 쓰이는 자리
vision-language model	이미지와 언어를 함께 처리하는 모델 · 화면·문서 이해 능력의 기반 기술. "Vision-language models take pixels and tokens in the same context"
inherit (a risk)	(위험을) 그대로 물려받다, 안고 가다 · 이미지 입력이 기존 프롬프트 인젝션 위험을 그대로 이어받는다는 뜻. "inheriting prompt-injection risk through images"
image-borne	이미지를 매개로 한, 이미지를 통해 전달되는 · 텍스트가 아닌 이미지로 전달되는 인젝션 공격. "an image-borne injection"
connect X to Y	X를 Y와 연결짓다 · 멀티모달의 능력과 새로운 공격 표면을 잇는 관계. "connecting multimodal power to its new attack surface"
in the same context	같은 맥락(문맥) 안에서 · 픽셀과 토큰을 하나의 문맥으로 함께 처리한다는 뜻. "take pixels and tokens in the same context"
VLM	시각-언어 모델(Vision-Language Model)의 약어 · 스크린샷 과제 실습에서 본문이 실제로 사용한 축약 표기. "The PoC runs a VLM on a screenshot task"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑