Copy English

Why

The report frames pacing as a coordination problem, and coordination problems fail for two different reasons: no one can verify what anyone else is actually doing, and even willing parties can't legally agree to slow down together. Stage one solves the first problem by putting the verifier inside the system with real access, borrowing directly from bank supervision. Stages two and three try to solve the second problem by widening the circle of parties bound to the same standard. The segment's antitrust point matters because it identifies a failure mode that has nothing to do with AI capability at all: a plan that depends on companies privately agreeing to hold back releases is, on its face, coordination of commercial activity, and in most jurisdictions that is illegal regardless of the intent behind it. A safety plan that can't survive contact with competition law isn't a safety plan yet.

How it works

Stage one: embedded evaluators, borrowed from bank supervision

The report's analogy is bank supervision, where independent examiners sit inside a bank full-time, watching risk and practicing the institution's own processes daily rather than reviewing a quarterly filing (01:15–01:26). Applied to AI, the proposal is independent external evaluators with employee-level access resident in major labs, auditing training and safety processes in real time rather than after a model ships (00:35, 01:33–01:40). The distinguishing feature is access: not a questionnaire the lab fills out, but a person inside the room who can see what is actually being trained and how.

Stage two: democratic coordination

Once evaluators exist inside individual labs, the next step is getting Western democratic labs to agree on common evaluation standards and release-pace norms, so no single lab is disadvantaged for slowing down while a peer does not (00:19, 01:44–02:47). This is a trust problem among parties that broadly share incentives and legal systems, which is why the report treats it as the middle difficulty tier rather than the hardest one.

Stage three: global coordination, adversaries included

The hardest and, per the report, still necessary tier extends the same coordination to non-democracies and geopolitical rivals, China named explicitly (00:19, 02:06–02:13). Nothing in the segment describes a mechanism for this stage beyond naming it as the goal — it is presented as the destination the first two stages are meant to build toward, not a plan with steps of its own yet.

The China question, and why "it might fail" isn't an argument

Asked what happens if China pulls ahead while the West paces itself, Amodei's reported answer is that later-stage coordination is indeed less likely to succeed the wider the circle gets — but pre-judging that failure and therefore not starting is not an option (02:13–02:26). The logic is that stage one (an evaluator inside your own lab) and stage two (agreement among like-minded parties) are worth doing on their own merits regardless of whether stage three ever succeeds; declining to build the earlier stages because the final stage is uncertain throws away the parts that are achievable now.

Antitrust: coordination needs a convener with legal cover

The segment's sharpest point is procedural, not technical: pacing releases is, by definition, coordination of commercial activity among competitors, and companies agreeing among themselves to do that is the textbook definition of collusion under antitrust law (02:54–03:28). The report's conclusion is that the government's first job — before any large piece of AI legislation — is to convene the players and legally sanction the coordination as safety cooperation rather than collusion (03:15–03:43). Without that legal cover, the labs most willing to cooperate on safety are the ones most exposed to a competition-law suit for doing so.

Where it lands in Jayverse

• Auditor: embedded evaluator is the design target. A rule-checker resident in the system with access to what's actually happening, logging who saw what and by which rule — not a report generated after a transaction clears. Stage one of the KBS report is the closest real-world analogue to what the Auditor row is trying to build.
• Verex: consortium governance needs a convener with legal cover before it needs a standard. If Verex or a resolution-source consortium ever needs multiple competing platforms to agree on shared rules, the antitrust point applies directly — the missing piece is usually not the technical standard but who has the legal authority to convene the agreement without it looking like collusion, the same gap Tech #103's 21-bank stablecoin consortium and #65's KB Kookmin + Kinexys work had to solve institutionally.
• Knowledge Notes: sits next to #103, #65, #69, #102. Tech #69's "an invariant is a stop" and #102's MLflow tracing / LLM-as-judge both rest on the same premise as bank supervision here — evaluation has to sit inside the loop with access, not arrive as a postmortem.
• Eng: two ready interview questions. "How would you regulate frontier AI?" answered in three stages of rising difficulty, and "why can't companies just agree to slow down?" answered with the antitrust mechanism — both concrete enough to rehearse out loud.

Verified and unverified

Verified on 2026-09-19: Dario Amodei has publicly argued for pacing AI development relative to safety guarantees in essays including "Machines of Loving Grace" (October 2024) and "The Adolescence of Technology" (January 2026), and has long supported export controls and a "race to the top" on safety among labs; Anthropic maintains a public Responsible Scaling Policy describing internal capability thresholds and safeguards. Bank supervision does embed examiners on-site at large banks (Federal Reserve and OCC resident-examiner programs are real and documented). US antitrust law treats coordination among competitors as presumptively suspect, and safe-harbor mechanisms for legally sanctioned industry cooperation exist, such as the National Cooperative Research and Production Act (NCRPA), which is the kind of vehicle the report's "government convenes and sanctions the coordination" argument would need. Taken from the KBS report and not independently verified by me: the name "Pacing the Frontier" as a formal document title, the specific claim that Altman, Musk, and named US government and congressional figures endorsed the proposal, and the exact wording attributed to Amodei. I have not seen Anthropic's internal position beyond its public documents — this is my note on a news segment, not a claim about what Anthropic has decided internally. Korea angle: KBS covering this signals it's entered the domestic policy conversation; a Korean team building agentic finance should expect embedded-evaluator-style requirements under Korea's AI Basic Act (effective January 2026), noted here as context.

Sources: [YouTube — KBS News, "「[이런뉴스] "그러다 중국이 앞서가면요?"…'AI 개발 늦추자'는 아모데이 답변은」"](https://www.youtube.com/watch?v=ctWJw8sQghk) · Dario Amodei, "Machines of Loving Grace" (Oct 2024) and "The Adolescence of Technology" (Jan 2026) · Anthropic's Responsible Scaling Policy · related items: bremmer-strategic-thinking-update-worldview (Life), nazarov-cftc-tokenization-us-60-percent, microfactory-small-models-clutch-rollback, rometty-resilience-relationships-attitude, Tech #103 (21-bank stablecoin consortium), Tech #65 (KB Kookmin + Kinexys), Tech #69 (an invariant is a stop), Tech #102 (MLflow tracing, LLM-as-judge).

← All Knowledge Notes · Workspace Index · Top ↑

Copy 한국어

Pacing the Frontier — 아모데이의 계획은 조약이 아니라 건물 안의 평가자에서 시작한다

KBS 뉴스 「이런뉴스」 세그먼트(YouTube, 약 4분)는 Anthropic CEO 다리오 아모데이(Dario Amodei)가 프론티어 모델의 성능 향상과 출시 속도를 의도적으로 늦춰 안전성 검증과 방어책을 위한 시간을 벌자고 제안했다고 보도한다(00:06–00:11). 보도에 따르면 발표 이후 샘 올트먼, 일론 머스크, 미국 정부·의회 인사들이 지지 의사를 밝혔다(00:26–00:55). 계획은 난이도가 올라가는 세 단계로 구성된다(00:11, 02:13). 개별 랩 내부의 내장 평가자(embedded evaluators), 서구 랩들이 공통 기준에 합의하는 민주적 조정, 그리고 중국 같은 비민주국가·경쟁국까지 포함하는 전 지구적 조정이다. 세그먼트는 이 계획이 던지는 가장 어려운 두 질문도 다룬다. 중국이 앞서가면 어떻게 하느냐(02:13–02:26), 그리고 반독점법을 건드리지 않고 기업들이 출시 속도를 어떻게 조정할 수 있느냐(02:54–03:43)다.

Jayverse에서 이것은 추적할 정책 뉴스가 아니라 거버넌스 메커니즘의 참조 사례다. 1단계 메커니즘 — 사후 보고서가 아니라 시스템 안에 상주하며 직원급 접근 권한을 가진 평가자 — 는 내가 Auditor에 원하는 형태 그대로이고, 반독점 지점은 Verex가 언젠가 필요로 할 컨소시엄에 대한 거버넌스 설계 교훈이다.

왜

보도는 페이싱(pacing)을 조정(coordination) 문제로 프레이밍하는데, 조정 문제는 서로 다른 두 이유로 실패한다. 상대가 실제로 뭘 하고 있는지 검증할 수 없다는 것, 그리고 의지가 있는 당사자들조차 함께 속도를 늦추기로 법적으로 합의할 수 없다는 것이다. 1단계는 실제 접근 권한을 가진 검증자를 시스템 안에 두어 첫 번째 문제를 해결하며, 은행 감독에서 직접 빌려온다. 2, 3단계는 같은 기준에 묶이는 당사자의 범위를 넓혀 두 번째 문제를 풀려는 시도다. 세그먼트의 반독점 지적이 중요한 이유는 AI 역량과는 전혀 무관한 실패 지점을 짚어내기 때문이다. 기업들이 사적으로 출시를 보류하기로 합의하는 데 의존하는 계획은 그 자체로 상업 활동의 조정이고, 대부분의 법역에서 의도와 무관하게 불법이다. 경쟁법을 통과하지 못하는 안전 계획은 아직 안전 계획이 아니다.

동작 방식

1단계: 은행 감독에서 빌려온 내장 평가자

보도의 비유는 은행 감독이다. 독립적인 감독관이 은행 안에 상주하며 분기 보고서를 검토하는 대신 매일 리스크를 지켜보고 기관의 실제 프로세스를 함께 수행한다(01:15–01:26). 이를 AI에 적용하면, 제안은 주요 랩에 상주하며 직원급 접근 권한을 가진 독립 외부 평가자가 모델 출시 이후가 아니라 실시간으로 학습·안전 프로세스를 감사하는 것이다(00:35, 01:33–01:40). 핵심은 접근 권한이다. 랩이 작성해 제출하는 설문지가 아니라, 실제로 무엇이 어떻게 학습되고 있는지 볼 수 있는 사람이 방 안에 있는 것이다.

2단계: 민주적 조정

개별 랩 안에 평가자가 자리 잡고 나면, 다음 단계는 서구 민주주의 랩들이 공통 평가 기준과 출시 속도 규범에 합의하게 만드는 것이다. 그래야 한쪽이 속도를 늦췄는데 동료가 그러지 않아 불이익을 받는 일이 없다(00:19, 01:44–02:47). 이는 대체로 동기와 법체계를 공유하는 당사자들 사이의 신뢰 문제이고, 그래서 보도는 이를 가장 어려운 단계가 아니라 중간 난이도로 다룬다.

3단계: 적대국을 포함한 전 지구적 조정

보도에 따르면 가장 어렵지만 여전히 필요한 단계는 같은 조정을 비민주국가와 지정학적 경쟁국으로 확장하는 것이며, 중국이 명시적으로 언급된다(00:19, 02:06–02:13). 세그먼트는 이 단계를 목표로 이름 붙이는 것 이상으로 구체적 메커니즘을 설명하지 않는다. 자체 단계를 가진 계획이라기보다, 앞의 두 단계가 쌓아 올려야 할 도달점으로 제시된다.

중국 질문, 그리고 "실패할 수도 있다"가 이유가 되지 않는 까닭

서구가 속도를 늦추는 동안 중국이 앞서가면 어떻게 하느냐는 질문에, 아모데이의 보도된 답변은 범위가 넓어질수록 후반 단계의 조정이 성공할 가능성은 실제로 낮아지지만, 그 실패를 미리 단정하고 시작조차 하지 않는 것은 선택지가 아니라는 것이다(02:13–02:26). 논리는 이렇다. 1단계(자기 랩 안의 평가자)와 2단계(뜻이 맞는 당사자 간 합의)는 3단계가 끝내 성공하든 아니든 그 자체로 할 가치가 있다. 마지막 단계가 불확실하다는 이유로 앞 단계를 짓지 않는 것은 지금 성취 가능한 부분까지 버리는 일이다.

반독점: 조정에는 법적 보호막을 쥔 소집자가 필요하다

세그먼트에서 가장 날카로운 지점은 기술이 아니라 절차다. 출시 속도 조정은 정의상 경쟁자 간 상업 활동의 조정이고, 기업들이 서로 합의해 이를 하는 것은 반독점법상 교과서적인 담합(collusion)이다(02:54–03:28). 보도의 결론은, 큰 AI 입법에 앞서 정부의 첫 번째 임무는 플레이어들을 소집해 그 조정을 담합이 아니라 안전 협력으로 법적으로 승인하는 것이라는 점이다(03:15–03:43). 그 법적 보호막이 없으면, 안전 협력에 가장 적극적인 랩이 바로 그 협력 때문에 경쟁법 소송에 가장 노출된다.

Jayverse에서의 위치

• Auditor: 내장 평가자가 설계 목표다. 거래가 끝난 뒤 생성되는 보고서가 아니라, 실제로 벌어지는 일에 접근 권한을 갖고 시스템 안에 상주하며 누가 무엇을 봤는지, 어떤 규칙으로 봤는지 기록하는 규칙 검사기. KBS 보도의 1단계는 Auditor 행이 만들려는 것과 가장 가까운 실제 사례다.
• Verex: 컨소시엄 거버넌스는 표준보다 법적 보호막을 쥔 소집자를 먼저 필요로 한다. Verex나 정산 소스 컨소시엄이 언젠가 경쟁하는 여러 플랫폼의 공통 규칙 합의를 필요로 한다면 반독점 지적이 그대로 적용된다. 빠진 조각은 대개 기술 표준이 아니라 담합처럼 보이지 않게 합의를 소집할 법적 권한이며, 이는 Tech #103의 21개 은행 스테이블코인 컨소시엄과 #65의 KB국민은행 + Kinexys가 제도적으로 풀어야 했던 것과 같은 틈이다.
• Knowledge Notes: #103, #65, #69, #102 옆에 놓인다. Tech #69의 "불변식은 정지 조건이다"와 #102의 MLflow 트레이싱·LLM-as-judge 모두 여기 은행 감독과 같은 전제 위에 서 있다. 평가는 사후 검토가 아니라 접근 권한을 가지고 루프 안에 있어야 한다.
• Eng: 바로 쓸 수 있는 면접 질문 두 개. "프론티어 AI를 어떻게 규제하겠는가"는 난이도가 올라가는 세 단계로 답하고, "기업들이 그냥 속도를 늦추기로 합의하면 안 되나"는 반독점 메커니즘으로 답한다. 둘 다 입으로 연습할 만큼 구체적이다.

확인된 것과 미확인

2026-09-19 확인: 다리오 아모데이는 "Machines of Loving Grace"(2024년 10월)와 "The Adolescence of Technology"(2026년 1월) 등의 에세이에서 안전성 보장에 맞춰 AI 개발 속도를 조절해야 한다고 공개적으로 주장해 왔고, 수출 통제와 랩 간 안전성 "race to the top"을 오래 지지해 왔다. Anthropic은 내부 역량 임계값과 안전장치를 설명하는 공개 Responsible Scaling Policy를 유지하고 있다. 은행 감독은 실제로 대형 은행에 감독관을 상주시킨다(연준과 OCC의 상주 감독관 프로그램은 실재하며 문서화되어 있다). 미국 반독점법은 경쟁자 간 조정을 원칙적으로 의심스러운 것으로 다루며, 합법적으로 승인된 산업 협력을 위한 세이프하버 메커니즘도 존재한다. 예컨대 National Cooperative Research and Production Act(NCRPA)는 보도가 말하는 "정부가 소집해 조정을 승인한다"는 주장에 필요한 종류의 법적 수단이다. KBS 보도에서 가져왔고 내가 독립적으로 확인하지 않은 것: "Pacing the Frontier"가 공식 문서의 제목이라는 사실, 올트먼·머스크·미국 정부·의회 인사들이 이 제안을 지지했다는 구체적 주장, 아모데이에게 귀속된 정확한 문구. 나는 Anthropic의 공개 문서 너머의 내부 입장을 본 적이 없다. 이 글은 Anthropic이 내부적으로 결정한 바에 대한 주장이 아니라 뉴스 세그먼트에 대한 나의 노트다. 한국 관점: KBS가 이를 다뤘다는 것은 국내 정책 논의에 진입했다는 신호이며, 에이전틱 금융을 만드는 한국 팀은 2026년 1월 시행된 한국 AI 기본법 아래에서 내장 평가자 형태의 요구를 예상해야 한다. 이는 맥락으로 남긴다.

출처: [YouTube — KBS 뉴스, 「[이런뉴스] "그러다 중국이 앞서가면요?"…'AI 개발 늦추자'는 아모데이 답변은」](https://www.youtube.com/watch?v=ctWJw8sQghk) · 다리오 아모데이, "Machines of Loving Grace"(2024년 10월)와 "The Adolescence of Technology"(2026년 1월) · Anthropic Responsible Scaling Policy · 관련 항목: bremmer-strategic-thinking-update-worldview(Life), nazarov-cftc-tokenization-us-60-percent, microfactory-small-models-clutch-rollback, rometty-resilience-relationships-attitude, Tech #103(21개 은행 스테이블코인 컨소시엄), Tech #65(KB국민은행 + Kinexys), Tech #69(불변식은 정지 조건이다), Tech #102(MLflow 트레이싱, LLM-as-judge).

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑