Copy English

Why

An agent harness — sandboxing, memory, scheduling, tool execution — is expensive to build and easy to mistake for the product. The panel's founders all started by asking what layer their users actually value: Saumil's users value a briefing that is right about who they're meeting, not the infrastructure that produced it; Mihir's users value a forecast rolled up across hundreds of accounts, not the container it ran in. Getting this wrong in either direction is costly: build the harness when you don't need to and you spend your runway on plumbing instead of product; buy it when you actually need extreme control (sub-second voice latency, cost-optimized batch inference at scale) and you inherit someone else's ceiling. The panel's answer is concrete enough to apply directly: ask "is this infrastructure our core competency?" (12:27) before every build decision, not after.

How it works

Three products, one production pattern

Saumil's meeting assistant does more than live transcription: it briefs the user before a meeting and automates tasks after it (00:11, 00:17). Twenty-four hours ahead, it cross-references the other side's LinkedIn, prior conversations, and email to write the brief (02:27, 05:29). Mihir's Watchtower runs a persistent agent per sales account (00:46, 00:53), and a second agent sits above them, cross-analyzing hundreds of accounts for roll-ups, revenue forecasts, and priority targets — built and deployed on Managed Agents in two weeks (01:14, 01:28). Todd's product combines a customer's source code with their user telemetry: it reviews UX and instrumentation when a PR is submitted, and when funnel conversion drops, it analyzes the code and proposes a fix PR (01:32, 01:53, 23:01, 24:04).

An independent verifier that prefers silence to a wrong answer

All three treat wrong output as worse than no output. Saumil's clearest failure mode is briefing the user on the wrong person — a name collision, the wrong "Tom" — which is far more damaging than skipping the brief entirely (02:18, 02:41). Their fix is a verifier agent that runs in a clean context, fully separated from the agent that did the work (03:10, 06:12), scoring the output against a rubric written from the user's experience, not the model's confidence. Below the rubric's threshold, the system doesn't show a degraded answer — it shows nothing, a fail-silent / graceful-degradation choice made deliberately at the product layer (03:03, 06:32).

Sandboxing: isolate first, choose real-time vs batch second

Todd's product snapshots a customer's actual source code to analyze, execute, and modify it, which makes isolation non-negotiable — a leaked secret or a stray write is a real incident, not a bug report (10:38, 10:48). Rather than build container isolation themselves, they use the platform's built-in sandbox (11:28). On top of that, they split workloads by latency need: large-scale funnel verification runs as a nightly batch, and user-facing queries run in real time, kept on separate paths (11:51, 12:05).

Memory split: what you index yourself, what the platform holds

Mihir's Watchtower draws a line through memory. Account memory — a given account's lifecycle and deal history — is indexed by Watchtower itself, because contamination between accounts and precise, per-account querying both demand tight control (07:01, 09:45, 18:12). Org- and user-level memory — revenue-forecast criteria, a rep's preferences, how sales fields are defined — sits in Anthropic's Managed Memory, because that logic is shared and generic across the org rather than unique per account (07:46, 10:00). The parent Watchtower agent writes code directly to fan out across roughly 500 accounts' memory in parallel, searching and rolling up results (08:21, 08:42) — a pattern the panel calls "dreaming," an unreviewed batch pass over memory that surfaces what to act on next.

The build-vs-buy test, and how they evaluate afterward

The founders converge on one question: is the harness infrastructure our core competency (12:27)? When it isn't — when the product's edge is the briefing quality or the sales roll-up, not the plumbing under it — buying managed infrastructure wins, because an early-stage startup's scarce resource is experiment speed toward product-market fit, not infrastructure upkeep (12:33, 13:05, 13:22, 14:04). The stated exceptions are narrow: extremely latency-sensitive voice ("Jarvis"-style) products that need to control the harness directly (12:45, 12:51, 33:55), and large-traffic products that need fine-grained margin control, such as batch mode's roughly 50–75 percent cost savings (29:40, 31:06). On evaluation, the panel warns that early internal dogfooding is vibes-based and overfits to the team's own usage (24:45, 25:07); the fix is interviewing real customers about their actual query intent to build segmented benchmark cohorts (26:15). Because memory changes and external state (Slack, a CRM) drifts, these are stateful systems that resist static evals (26:42, 27:07). And when migrating models, they avoid over-tuning prompts to one model family's quirks, checking instead for defenses against the new model's own failure patterns — like a tendency toward excessive modifiers or dash overuse (27:45, 28:41).

Where it lands in Jayverse

• Rabbit: the verifier-with-veto matters more here than for a briefing. An agent that can move money needs the panel's clean-context verifier pattern applied to the mandate enforcer — fail-silent means the enforcer blocks a send rather than let a degraded approval through.
• Verex: the Watchtower pattern is the market-maker ops shape. One dedicated agent per market, with a roll-up agent above it fanning out across markets for pricing and inventory summaries, is a smaller version of what Watchtower does across sales accounts.
• Auditor: the independent verifier is the Auditor role, and the rubric is the rule. "What was checked, by which rubric" is exactly the Auditor's job description; write the rubric down the way Saumil's team did before the first wrong brief goes out.
• Dark Horse: Managed Agents is a legitimate buy option, not a compromise. For a candidate whose edge isn't the harness — most of them — building on Managed Agents keeps the repo small and the runway spent on the product decision, not on sandboxing.
• Eng: practice the three-sentence answer to "build or buy the harness." State the test (does the harness define your product's value), the two named exceptions (latency-critical control, large-scale margin control), and one concrete example from Jayverse.

Verified and unverified

Verified on 2026-09-19: Anthropic offers Claude Managed Agents — server-hosted agents with a managed sandbox, memory, and tool execution — as part of the Claude platform; "LLM-as-judge with a clean context" and "graceful degradation" (failing silently rather than showing a low-confidence answer) are established patterns in production LLM systems; batch inference APIs typically discount around 50 percent versus real-time pricing. Taken from the summary and not independently checked: the founders' names and product names (Saumil/Briefs & Tasks, Mihir/Watchtower, Todd's product), the two-week build time, the roughly 500-account figure, the "dreaming" terminology, and all timestamps.

Sources: YouTube — "How founders build on Claude Managed Agents," Anthropic's Claude channel · related items: Tech #62 (agentic engineering writes the boundaries), Tech #101 (ADK voice — the low-latency build exception), Tech #102 (MLflow — evals), harness-engineering-shift-left and vercel-eve-filesystem-agents (the own-the-environment counter-position).

← All Knowledge Notes · Workspace Index · Top ↑

Copy 한국어

세 창업자가 Claude Managed Agents를 프로덕션에 배포했다 — 하네스가 자기 제품의 경쟁력이 아니었기 때문에

Anthropic의 Claude 채널이 "How founders build on Claude Managed Agents"라는 패널(YouTube, 약 35분)을 진행했고, Managed Agents를 프로덕션에 올린 세 창업자가 출연했다. 미팅 어시스턴트(Briefs & Tasks)를 만든 Saumil, 영업 파이프라인 제품(Watchtower)을 만든 Mihir, 프로덕트 분석·코드 자가 치유 도구를 만든 Todd. 세 사람 모두 며칠에서 2주 안에 배포했다고 말한다(14:19, 14:50, 16:11). 패널이 반복해서 돌아오는 질문은 하나다. 자체 에이전트 하네스를 만들지, Anthropic의 관리형 하네스를 살지 가르는 기준. 하네스가 제품의 고유한 가치를 정의하는가, 아니면 이미 보유한 가치 아래의 배관일 뿐인가.

Jayverse에서 이것은 내가 만들거나 계획하는 모든 에이전트를 보는 렌즈다. Rabbit의 mandate 집행 흐름, Verex의 마켓메이커 봇, Auditor, Dark Horse 후보들. 직접 스케줄러, 샌드박스, 메모리 레이어를 쓰기 전에 먼저 물을 것은, 그 레이어가 사용자가 돈을 내는 대상인가다.

왜

에이전트 하네스—샌드박싱, 메모리, 스케줄링, 도구 실행—는 만들기 비싸고 제품 자체로 착각하기 쉽다. 패널의 창업자들은 모두 사용자가 실제로 가치를 두는 레이어가 무엇인지부터 물었다. Saumil의 사용자는 만날 상대에 대해 정확한 브리핑에 가치를 두지, 그것을 만들어낸 인프라에 가치를 두지 않는다. Mihir의 사용자는 수백 개 거래처를 가로지르는 롤업 예측에 가치를 두지, 그것이 돌아간 컨테이너에 가치를 두지 않는다. 어느 방향으로든 틀리면 대가가 크다. 필요 없는데 하네스를 만들면 제품이 아니라 배관에 활주로를 쓰게 된다. 실제로 극한의 제어(서브초 음성 지연, 대규모 배치 추론의 비용 최적화)가 필요한데 사면 남의 한계를 물려받는다. 패널의 답은 바로 적용할 수 있을 만큼 구체적이다. 모든 빌드 결정 전에 "이 인프라가 우리의 핵심 경쟁력인가?"(12:27)를 묻는 것, 결정 후가 아니라.

동작 방식

세 제품, 하나의 프로덕션 패턴

Saumil의 미팅 어시스턴트는 실시간 기록 이상을 한다. 미팅 전에 사용자를 브리핑하고 미팅 후 태스크를 자동화한다(00:11, 00:17). 24시간 전에 상대의 LinkedIn, 이전 대화, 이메일을 교차 분석해 브리핑을 쓴다(02:27, 05:29). Mihir의 Watchtower는 거래처마다 영구 실행되는 전담 에이전트를 돌리고(00:46, 00:53), 그 위에 두 번째 에이전트가 앉아 수백 개 거래처를 교차 분석해 롤업, 매출 예측, 우선 타깃을 뽑는다. Managed Agents로 2주 만에 구축·배포했다(01:14, 01:28). Todd의 제품은 고객사의 소스 코드와 사용자 텔레메트리를 결합한다. PR이 제출되면 UX와 계측을 리뷰하고, 퍼널 전환율이 떨어지면 코드를 분석해 수정 PR을 제안한다(01:32, 01:53, 23:01, 24:04).

틀린 답보다 침묵을 택하는 독립 검증자

셋 다 잘못된 출력을 출력 없음보다 더 나쁘다고 취급한다. Saumil의 가장 분명한 실패 모드는 동명이인—엉뚱한 "Tom"—의 정보로 사용자를 브리핑하는 것이고, 이는 브리핑을 아예 건너뛰는 것보다 훨씬 더 치명적이다(02:18, 02:41). 이들의 해법은 실행한 에이전트와 완전히 분리된 clean-context에서 도는 검증 에이전트다(03:10, 06:12). 이 검증자는 모델의 자신감이 아니라 사용자 경험 관점에서 쓰인 rubric으로 출력을 채점한다. rubric 기준을 못 넘으면 시스템은 낮은 품질의 답을 보여주는 대신 아예 아무것도 보여주지 않는다. 제품 레이어에서 의도적으로 택한 fail-silent / graceful degradation이다(03:03, 06:32).

샌드박싱: 격리가 먼저, 실시간이냐 배치냐는 그다음

Todd의 제품은 고객사의 실제 소스 코드를 스냅샷해 분석·실행·수정하므로 격리는 타협 불가능하다. 시크릿 유출이나 잘못된 쓰기는 버그 리포트가 아니라 실제 사고다(10:38, 10:48). 컨테이너 격리를 직접 만드는 대신 플랫폼에 내장된 샌드박스를 쓴다(11:28). 그 위에서 워크로드를 지연 요구사항으로 나눈다. 대규모 퍼널 검증은 야간 배치로, 사용자 대면 질의는 실시간으로, 서로 다른 경로에 둔다(11:51, 12:05).

메모리 분리: 무엇을 직접 인덱싱하고 무엇을 플랫폼에 맡길지

Mihir의 Watchtower는 메모리에 선을 하나 긋는다. account 메모리—특정 거래처의 라이프사이클과 거래 내역—는 Watchtower 자체가 인덱싱한다. 거래처 간 오염 방지와 거래처별 정밀 쿼리 둘 다 강한 통제를 요구하기 때문이다(07:01, 09:45, 18:12). org·user 메모리—매출 예측 기준, 담당자 선호, 영업 필드 정의—는 Anthropic의 Managed Memory에 둔다. 이 로직은 거래처마다 고유한 게 아니라 조직 전체에서 공유되는 일반 로직이기 때문이다(07:46, 10:00). 상위 Watchtower 에이전트는 코드를 직접 써서 약 500개 계정의 메모리를 fan-out으로 병렬 탐색하고 결과를 롤업한다(08:21, 08:42). 패널은 이를 "dreaming"이라 부른다. 검토받지 않은 배치가 메모리를 훑으며 다음에 무엇을 해야 할지 드러내는 패턴이다.

build vs buy 테스트, 그리고 이후의 평가 방식

창업자들은 하나의 질문으로 수렴한다. 이 하네스 인프라가 우리의 핵심 경쟁력인가(12:27)? 아니라면—제품의 경쟁력이 브리핑 품질이나 영업 롤업이지 그 밑의 배관이 아니라면—관리형 인프라를 사는 쪽이 유리하다. 초기 스타트업의 희소 자원은 인프라 유지가 아니라 PMF를 향한 실험 속도이기 때문이다(12:33, 13:05, 13:22, 14:04). 명시된 예외는 좁다. 하네스를 직접 제어해야 하는 극단적 저지연 음성("자비스"형) 제품(12:45, 12:51, 33:55), 그리고 배치 모드의 약 50~75% 비용 절감처럼 세밀한 마진 제어가 필요한 대규모 트래픽 제품(29:40, 31:06)이다. 평가에 대해서는, 초기 사내 도그푸딩이 vibes 기반이라 팀 자신의 사용 패턴에 과적합된다고 경고한다(24:45, 25:07). 해법은 실제 고객을 인터뷰해 진짜 질의 의도를 파악하고 벤치마크 코호트를 세분화하는 것이다(26:15). 메모리가 변하고 외부 상태(Slack, CRM)가 드리프트하므로 이런 시스템은 stateful이라 정적 eval에 잘 맞지 않는다(26:42, 27:07). 모델을 마이그레이션할 때는 특정 모델군의 버릇에 프롬프트를 과도하게 맞추지 않고, 대신 새 모델 고유의 실패 패턴—과도한 수식어나 대시 남용 같은 문체—을 상쇄하는 방어벽 위주로 점검한다(27:45, 28:41).

Jayverse에서의 위치

• Rabbit: 검증자-거부권 패턴이 브리핑보다 여기서 더 중요하다. 돈을 움직이는 에이전트는 패널의 clean-context 검증자 패턴을 mandate enforcer에 적용해야 한다. fail-silent는 enforcer가 저품질 승인을 통과시키는 대신 전송을 막는 것을 뜻한다.
• Verex: Watchtower 패턴이 마켓메이커 운영의 형태다. 마켓마다 전담 에이전트 하나, 그 위에 마켓들을 가로질러 가격·재고 요약을 fan-out하는 롤업 에이전트는 Watchtower가 영업 거래처에 대해 하는 일의 축소판이다.
• Auditor: 독립 검증자가 곧 Auditor 역할이고, rubric이 곧 규칙이다. "무엇을 어떤 rubric으로 확인했는가"는 정확히 Auditor의 직무 기술이다. Saumil 팀이 첫 잘못된 브리핑이 나가기 전에 그랬듯 rubric을 미리 적어둘 것.
• Dark Horse: Managed Agents는 타협이 아니라 정당한 buy 옵션이다. 하네스가 경쟁력이 아닌 후보—대부분—는 Managed Agents 위에 지으면 레포가 작게 유지되고 활주로가 샌드박싱이 아니라 제품 결정에 쓰인다.
• Eng: "하네스를 build할지 buy할지" 세 문장 답을 연습한다. 기준(하네스가 제품 가치를 정의하는가), 명시된 두 예외(지연 임계 제어, 대규모 마진 제어), Jayverse의 구체적 예시 하나를 말한다.

확인된 것과 미확인

2026-09-19 확인: Anthropic은 Claude Managed Agents—관리형 샌드박스, 메모리, 도구 실행을 갖춘 서버 호스팅 에이전트—를 Claude 플랫폼의 일부로 제공한다. "clean context를 가진 LLM-as-judge"와 "graceful degradation"(낮은 신뢰도 답을 보이는 대신 조용히 실패하는 것)은 프로덕션 LLM 시스템에서 확립된 패턴이다. 배치 추론 API는 보통 실시간 가격 대비 약 50% 할인된다. 요약에서 가져왔고 독립 확인하지 않은 것: 창업자 이름과 제품명(Saumil/Briefs & Tasks, Mihir/Watchtower, Todd의 제품), 2주 구축 기간, 약 500개 계정이라는 수치, "dreaming"이라는 용어, 모든 타임스탬프.

출처: YouTube — "How founders build on Claude Managed Agents", Anthropic Claude 채널 · 관련 항목: Tech #62(에이전틱 엔지니어링은 경계를 쓴다), Tech #101(ADK 음성 — 저지연 build 예외), Tech #102(MLflow — evals), harness-engineering-shift-left, vercel-eve-filesystem-agents(환경을 직접 소유해야 한다는 반대 입장).

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑