Workspace IndexKnowledge Notes › Every AI-engineering skill is framing the same non-determinism

#272PoC

Every AI-engineering skill is framing the same non-determinism

Andrew Ng's AI Engineering Skills Map (from 10,000+ job postings and dozens of interviews) names four skills: building & deploying AI apps, software-engineering fundamentals, using coding agents, and shaping the build. Read through this catalogue they collapse into one job — putting a deterministic frame (specs, evals, verifiers, named tradeoffs) around a non-deterministic core. Ng says it himself: the one thing that makes AI apps different is unpredictable output, and skill #1 is the discipline of making it behave predictably. As agents make building cheap, the durable skill is the frame.

Not yet scoped — a self-audit against the four, not a build. On a real project, first locate where the non-determinism actually lives (model output, agent actions) and then inventory your deterministic frame around it. (1) The eval / error-analysis loop that measures and steers the model's behavior — do you have a real eval set, or a vibe? (2) The software tradeoffs you can name — cost, scale, reliability, speed, security — and are actively using to steer the agent, versus the ones the agent is silently choosing for you. (3) The verifiers you hand the agent so it can close its own loops, and the guardrails against the pitfalls (an agent reaching your production database). (4) The spec — is your judgment going into what to build, not only into implementing a design you were handed. Deliverable: for each skill, one concrete artifact (an eval set, a one-page tradeoff doc, a verifier script, a spec), plus the honest observation that three of the four are the same meta-skill — making the non-deterministic part governable. Source: Andrew Ng (DeepLearning.AI) on X, 2026-08-15 — a curated framework from someone whose business is teaching these skills; useful, and worth reading as advocacy.

Why

Ng's own framing gives the through-line, and it is sharper than the list of four. He says AI applications differ from traditional software in exactly one way — unpredictable output — and that skill #1 is using statistical techniques (evals, error analysis) to make them behave predictably. That is not one skill among four; it is the axis the other three sit on. Software-engineering fundamentals matter because knowing the tradeoffs lets you steer a non-deterministic agent with precise language. Using coding agents is managing their limits and giving them verifiers so they can close loops. Each is a way of putting a deterministic frame around a non-deterministic engine — which is what this catalogue keeps arriving at: a-boolean-hides-a-state-machine (one good run proves nothing), agent-ask-not-write (a deterministic executor gates the non-deterministic proposer), simulate-before-sign (verify before the irreversible act).

The economic reading is the-interface-premium-collapses again: as agents make building cheap, value migrates to what the agent cannot conjure — the spec going in and the eval judging what comes out. "Shaping the build" is Ng naming that migration directly: engineers stop being handed a pixel-perfect design to implement and start deciding what belongs in the spec — which is demonstration-is-not-a-specification and three-thousand-lanterns-nobody-asked-for (agents fill the spec's gaps, so the spec is the control surface). And "vibe coding without knowing the tradeoffs" is the failure mode stated plainly: the agent makes tradeoffs whether you understand them or not, so the SE knowledge is what lets you see and steer them — architecture-is-accepted-failure, because you cannot knowingly accept a failure you cannot see.

So the honest compression of the map is worth more than the map. Three of the four skills — evals, verifiers, tradeoff-literacy — are one meta-skill: making a non-deterministic process auditable and governable. The fourth, shaping the build, is where human judgment relocates once the building itself is automated. That is the same verdict as the whole recent cluster in this catalogue — the reviewable, verifiable frame is the unit, not the artifact. The map helps you prioritize; the compression tells you what you are actually learning: not four things, but how to frame non-determinism and how to own the spec. Related: the-interface-premium-collapses, agent-ask-not-write, a-boolean-hides-a-state-machine, demonstration-is-not-a-specification, architecture-is-accepted-failure, simulate-before-sign.

How it works

The map

AI Engineering
├─ Building and deploying AI applications
├─ Software engineering fundamentals
├─ Using coding agents
└─ Shaping the build

One root, four children — and the reading below is that three of the four hang off the same axis (non-determinism), while the fourth is where human judgment relocates.

The four skills, and the non-determinism each frames

Ng's skill What it frames
Building & deploying AI apps model output — evals/error-analysis make it predictable
SW engineering fundamentals the tradeoffs, so you steer the agent instead of it steering you
Using coding agents the agent's limits — verifiers let it close loops safely
Shaping the build what to build — the spec, once implementation is cheap

Three of four are one meta-skill

Skill Deterministic frame Concrete artifact
eval / error analysis measure & steer output an eval set
tradeoff-literacy see the choices being made a one-page tradeoff doc
verifiers let the agent self-check a verifier script
shaping the build where human judgment relocates a spec

The migration underneath it

As agents make cheap Value moves to
writing the implementation the spec that goes in
producing the artifact the eval/verifier that judges what comes out
"how to build it" "what to build, and how to confirm it"

Related cards

the-interface-premium-collapses (agents commoditize the build; value is what they can't conjure), agent-ask-not-write (deterministic frame around a non-deterministic agent), a-boolean-hides-a-state-machine (one good run proves nothing), demonstration-is-not-a-specification and three-thousand-lanterns-nobody-asked-for (the spec is the control surface), architecture-is-accepted-failure (you can't accept a tradeoff you can't see), simulate-before-sign (build plus verify).

Where it lands in Jayverse

  • CI: agent-authored changes need a verifier gate, not just green tests. Since Jayverse contracts and services are largely built with coding agents, add Foundry invariant tests as the "verifier" the agent must satisfy before a merge, not just unit tests it wrote itself.
  • gitboard: track spec-before-build, not just build status. Add a field per service linking to the written spec the current code implements, so the dashboard shows whether judgment went into what to build, not only whether it shipped.
  • Auditor: publish which prompt or spec produced a change. Extend the "what was checked, by which rule" instinct to agent-generated commits — record the spec or prompt behind a change alongside the diff, so an agent's non-deterministic output stays auditable after the fact.

Key expressions

Words and phrases from this page worth keeping, with the Korean meaning and the sentence they come from.

Expression뜻 · 쓰이는 자리
through-line관통하는 핵심 맥락 · 여러 요소를 하나로 꿰는 공통된 줄기를 가리킴. "Ng's own framing gives the through-line"
collapse into~로 수렴되다·압축되다 · 여러 항목이 결국 하나의 본질로 정리될 때. "they collapse into one job"
close the loop스스로 확인·완결하다 · 에이전트가 검증까지 마쳐 작업을 완결짓는 것. "so it can close its own loops"
vibe coding직감(느낌)에 의존해 코딩하는 방식 · 트레이드오프를 모른 채 에이전트에 맡기는 태도를 비판적으로 가리킴. "vibe coding without knowing the tradeoffs"
steer(방향을) 조종하다·이끌다 · 에이전트의 행동을 사람이 통제할 때 쓰는 동사. "lets you steer a non-deterministic agent with"
conjure(마법처럼) 만들어내다 · 에이전트가 스스로는 만들어낼 수 없는 것을 가리킬 때. "value is what they can't conjure"
commoditize상품화하다, 흔한 것으로 만들다 · 에이전트가 구현 작업의 가치를 떨어뜨리는 것을 가리킴. "agents commoditize the build; value is"
governable통제·관리 가능한 · 비결정적 과정을 감사하고 다스릴 수 있게 만든 상태. "auditable and governable"
worth reading as advocacy옹호 논리로 읽을 가치가 있다 · 저자의 이해관계를 감안하고 읽으라는 뜻. "useful, and worth reading as advocacy"
DeepLearning.AI앤드류 응이 세운 AI 교육 회사(Andrew Ng's AI education company) · 이 스킬 맵의 출처. "Andrew Ng (DeepLearning.AI) on X, 2026-08-15"
SE소프트웨어공학(Software Engineering)의 약어 · 트레이드오프 지식을 가리키는 반복 표현. "the SE knowledge is what lets you see"
SW소프트웨어(Software)의 약어 · 네 가지 스킬 중 하나를 가리키는 표현. "SW engineering fundamentals"

← All Knowledge Notes · Workspace Index · Top ↑

모든 AI 엔지니어링 기술은 같은 비결정성을 두르는 일이다

Andrew Ng 의 AI 엔지니어링 스킬 맵(구인공고 1만+ 건과 수십 건의 인터뷰 기반)은 네 기술을 듭니다 — AI 앱 빌드·배포, 소프트웨어 엔지니어링 기본기, 코딩 에이전트 사용, 빌드 형성(shaping the build). 이 목록의 렌즈로 읽으면 넷은 한 일로 수렴합니다 — 비결정적 핵심 둘레에 결정적 틀(명세·평가·검증기·명명된 트레이드오프)을 두르기. Ng 스스로 말합니다 — AI 앱을 다르게 만드는 단 하나는 예측 불가능한 출력이고, 첫 번째 기술은 그것이 예측 가능하게 행동하도록 만드는 규율입니다. 에이전트가 제작을 싸게 만들수록, 살아남는 기술은 그 틀입니다.

아직 범위 미정 — 빌드가 아니라 네 기술에 대한 자기 점검입니다. 실제 프로젝트에서 먼저 비결정성이 실제로 어디 사는지(모델 출력, 에이전트 행동) 짚고, 그 둘레의 결정적 틀을 목록화합니다. (1) 모델 행동을 재고 조종하는 평가 / 오류 분석 루프 — 진짜 평가 세트가 있는가, 아니면 감인가? (2) 이름 붙일 수 있는 소프트웨어 트레이드오프 — 비용·규모·신뢰성·속도·보안 — 을 에이전트 조종에 쓰고 있는가, 아니면 에이전트가 당신 대신 조용히 고르고 있는가. (3) 에이전트가 스스로 루프를 닫도록 건네는 검증기, 그리고 함정에 대한 가드레일(에이전트가 프로덕션 DB 에 닿는 것). (4) 명세 — 건네받은 디자인 구현이 아니라 무엇을 만들지에 당신 판단이 들어가는가. 산출물: 각 기술마다 구체적 산출물 하나(평가 세트, 한 장짜리 트레이드오프 문서, 검증기 스크립트, 명세), 그리고 넷 중 셋이 같은 메타 기술 — 비결정적 부분을 통치 가능하게 만들기 — 이라는 정직한 관찰. 출처: Andrew Ng(DeepLearning.AI), X, 2026-08-15 — 이 기술들을 가르치는 게 사업인 사람의 큐레이티드 프레임워크; 유용하되 옹호로 읽을 것.

Ng 자신의 프레이밍이 관통선을 주고, 그것이 네 항목 목록보다 날카롭습니다. 그는 AI 애플리케이션이 전통 소프트웨어와 정확히 한 가지로 다르다고 말합니다 — 예측 불가능한 출력 — 그리고 첫 번째 기술이 통계 기법(평가, 오류 분석)으로 그것을 예측 가능하게 만드는 것이라고 합니다. 이건 넷 중 하나가 아니라 나머지 셋이 얹혀 있는 축입니다. 소프트웨어 기본기가 중요한 이유는 트레이드오프를 알아야 비결정적 에이전트를 정밀한 언어로 조종할 수 있어서입니다. 코딩 에이전트 사용은 그 한계를 관리하고 검증기를 줘서 루프를 닫게 하는 것입니다. 각각은 비결정적 엔진 둘레에 결정적 틀을 두르는 방법입니다 — 이 목록이 계속 도달하는 지점: a-boolean-hides-a-state-machine(한 번 잘 됐다고 증명 아님), agent-ask-not-write(결정적 실행자가 비결정적 제안자를 게이트), simulate-before-sign(돌이킬 수 없는 행동 전 검증).

경제적 독법은 다시 the-interface-premium-collapses 입니다 — 에이전트가 제작을 싸게 만들수록, 가치는 에이전트가 소환 못 하는 것으로 이동합니다 — 들어가는 명세와 나오는 것을 판정하는 평가. "빌드 형성(shaping the build)"은 Ng 가 그 이동을 직접 이름 붙인 것입니다: 엔지니어는 픽셀 단위 디자인을 받아 구현하기를 멈추고 명세에 무엇이 들어갈지를 정하기 시작합니다 — demonstration-is-not-a-specificationthree-thousand-lanterns-nobody-asked-for(에이전트가 명세의 빈틈을 채우므로, 명세가 통제 표면). 그리고 "트레이드오프를 모른 채 하는 vibe coding"은 명확히 진술된 고장 유형입니다 — 에이전트는 당신이 이해하든 말든 트레이드오프를 하므로, SE 지식이 그것을 보고 조종하게 합니다 — architecture-is-accepted-failure, 볼 수 없는 고장을 알고 받아들일 수는 없으니까요.

그래서 지도의 정직한 압축이 지도보다 값집니다. 네 기술 중 셋 — 평가·검증기·트레이드오프 문해력 — 은 한 메타 기술입니다: 비결정적 과정을 감사·통치 가능하게 만들기. 넷째, 빌드 형성은 제작 자체가 자동화된 뒤 인간 판단이 옮겨가는 자리입니다. 이것은 이 목록의 최근 클러스터 전체와 같은 결론입니다 — 검토·검증 가능한 이 단위이지 산출물이 아니다. 지도는 우선순위를 돕고, 압축은 당신이 실제로 배우는 것을 말합니다: 네 가지가 아니라, 비결정성을 두르는 법과 명세를 소유하는 법. 관련: the-interface-premium-collapses, agent-ask-not-write, a-boolean-hides-a-state-machine, demonstration-is-not-a-specification, architecture-is-accepted-failure, simulate-before-sign.

동작 방식

지도

AI Engineering
├─ AI 앱 빌드·배포
├─ 소프트웨어 엔지니어링 기본기
├─ 코딩 에이전트 사용
└─ 빌드 형성

뿌리 하나, 자식 넷 — 그리고 아래 독법은 자식 넷 중 셋이 같은 축(비결정성)에 매달려 있고, 넷째는 인간 판단이 옮겨가는 자리라는 것.

네 기술, 그리고 각각이 두르는 비결정성

Ng 의 기술 무엇을 두르나
AI 앱 빌드·배포 모델 출력 — 평가/오류분석이 예측 가능하게
SW 엔지니어링 기본기 트레이드오프 — 에이전트에 조종당하지 않고 조종
코딩 에이전트 사용 에이전트의 한계 — 검증기가 안전히 루프를 닫게
빌드 형성 무엇을 만들지 — 구현이 싸진 뒤의 명세

넷 중 셋은 한 메타 기술

기술 결정적 틀 구체적 산출물
평가 / 오류 분석 출력을 재고 조종 평가 세트
트레이드오프 문해력 내려지는 선택을 봄 한 장짜리 트레이드오프 문서
검증기 에이전트가 자가 점검 검증기 스크립트
빌드 형성 인간 판단이 옮겨가는 자리 명세

그 아래의 이동

에이전트가 싸게 만드는 것 가치가 옮겨가는 곳
구현 작성 들어가는 명세
산출물 생산 나오는 것을 판정하는 평가/검증기
"어떻게 만들지" "무엇을 만들지, 그리고 어떻게 확인할지"

관련 카드

the-interface-premium-collapses(에이전트가 빌드를 범용화; 가치는 소환 못 하는 것), agent-ask-not-write(비결정적 에이전트 둘레의 결정적 틀), a-boolean-hides-a-state-machine(한 번 잘 됐다고 증명 아님), demonstration-is-not-a-specification·three-thousand-lanterns-nobody-asked-for(명세가 통제 표면), architecture-is-accepted-failure(볼 수 없는 트레이드오프는 받아들일 수 없음), simulate-before-sign(제작 + 검증).

Jayverse에서의 위치

  • CI: 에이전트가 작성한 변경은 테스트 통과가 아니라 검증자 게이트가 필요하다. Jayverse 컨트랙트와 서비스 상당수가 코딩 에이전트로 만들어지므로, 에이전트가 직접 작성한 유닛 테스트만이 아니라 머지 전에 통과해야 하는 Foundry 불변조건 테스트를 "검증자"로 추가한다.
  • gitboard: 빌드 상태가 아니라 스펙-먼저 여부를 추적한다. 서비스마다 현재 코드가 구현하는 작성된 스펙 링크 필드를 추가해, 대시보드가 배포 여부만이 아니라 무엇을 만들지에 판단이 들어갔는지도 보여주게 한다.
  • Auditor: 어떤 프롬프트나 스펙이 변경을 만들었는지 공개한다. "무엇을 어떤 규칙으로 확인했는지"라는 직관을 에이전트가 만든 커밋까지 확장한다. 변경 배후의 스펙이나 프롬프트를 diff와 함께 기록해, 에이전트의 비결정적 출력도 사후에 감사 가능하게 남긴다.

핵심 표현

이 페이지의 영어 본문에서 배울 만한 단어와 표현, 뜻과 나온 자리.

Expression뜻 · 쓰이는 자리
through-line관통하는 핵심 맥락 · 여러 요소를 하나로 꿰는 공통된 줄기를 가리킴. "Ng's own framing gives the through-line"
collapse into~로 수렴되다·압축되다 · 여러 항목이 결국 하나의 본질로 정리될 때. "they collapse into one job"
close the loop스스로 확인·완결하다 · 에이전트가 검증까지 마쳐 작업을 완결짓는 것. "so it can close its own loops"
vibe coding직감(느낌)에 의존해 코딩하는 방식 · 트레이드오프를 모른 채 에이전트에 맡기는 태도를 비판적으로 가리킴. "vibe coding without knowing the tradeoffs"
steer(방향을) 조종하다·이끌다 · 에이전트의 행동을 사람이 통제할 때 쓰는 동사. "lets you steer a non-deterministic agent with"
conjure(마법처럼) 만들어내다 · 에이전트가 스스로는 만들어낼 수 없는 것을 가리킬 때. "value is what they can't conjure"
commoditize상품화하다, 흔한 것으로 만들다 · 에이전트가 구현 작업의 가치를 떨어뜨리는 것을 가리킴. "agents commoditize the build; value is"
governable통제·관리 가능한 · 비결정적 과정을 감사하고 다스릴 수 있게 만든 상태. "auditable and governable"
worth reading as advocacy옹호 논리로 읽을 가치가 있다 · 저자의 이해관계를 감안하고 읽으라는 뜻. "useful, and worth reading as advocacy"
DeepLearning.AI앤드류 응이 세운 AI 교육 회사(Andrew Ng's AI education company) · 이 스킬 맵의 출처. "Andrew Ng (DeepLearning.AI) on X, 2026-08-15"
SE소프트웨어공학(Software Engineering)의 약어 · 트레이드오프 지식을 가리키는 반복 표현. "the SE knowledge is what lets you see"
SW소프트웨어(Software)의 약어 · 네 가지 스킬 중 하나를 가리키는 표현. "SW engineering fundamentals"

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑