Copy English

Why

The demo's whole appeal is that it collapses an afternoon of dashboard-hopping into one sentence. That collapse is also the risk: the agent shows its "thinking" as friendly captions — "reviewing company context," "comparing traffic, conversion and revenue" — never as artifacts a second person could check. When it says "root cause: checkout leakage plus an invite-link bug" (00:24–00:33), nothing on screen shows the SQL it ran against Snowflake, the Tableau view it read, or which Teams thread it is quoting. That is the difference between an analyst and a black box that talks like one. Hwang Sok-yong's point about the AI era — that the scarce skill becomes the quality of the question, not the answer — cuts the other way here too: a good question deserves an answer you can re-derive, not just restate.

How it works

The question and the visible "thinking"

The PM's question is open-ended and business-shaped, not a query. The agent responds with a sequence of labeled steps rather than a single black-box answer: reviewing company context (00:15), then comparing traffic, conversion and revenue in Snowflake, cross-checking a Tableau sales dashboard, and reading Dash XV threads in Microsoft Teams (00:16). This is the "agent mode" pattern — an LLM driving connectors across a company's existing tools instead of a bespoke integration per data source.

From a number to a named cause

The agent surfaces one comparison — product-page traffic is the highest of this quarter's launches, but conversion is 1.3% against a 2.5% launch average (00:17) — and then names why: checkout leakage plus an invite-link bug, not just when the drop started but the mechanism behind it (00:24–00:33). Naming a mechanism from a single metric comparison is the strongest claim in the video and the one with the least shown evidence. A gap between traffic and conversion is consistent with dozens of causes; picking one and presenting it as the root cause needs the underlying rows, not just the gap.

One click into a deliverable, then a living dashboard

A single instruction — "add this analysis, the checkout issue and the recommended actions to the Dash XV launch-week Google Slides deck" — updates the deck directly (00:35–00:38). The agent then renders an interactive web dashboard for the team (00:41–00:56); by voice, "show traffic here instead of conversion" re-lays the cards live (00:44–00:48), and the dashboard picks up brand colors, theme and typography automatically (00:49–00:52). The recovery model quoted — 157 customers recovered, 39 remaining (00:28–00:34) — is presented with the same confidence as the traffic number, but it is a projection, not a measurement, and the video never marks that distinction.

Scheduling the recap

The closing instruction, "every Monday morning refresh this dashboard and post key changes to Slack #product-leads" (00:58–01:00), turns a one-off investigation into a standing job: the weekly post carries numbers, a summary and a dashboard link (01:01–01:02). This is the same move as a shipping container's standard interface — one connector-and-schedule combination replaces bespoke integrations to Snowflake, Tableau, Teams, Slack and Slides — and the same trade-off: a standard interface hides what is inside the container, and here it hides which query ran and which rows came back. YC's "own the outcome, not the task" framing applies too: scheduling the post is easy; owning whether next Monday's number is still true is the actual job.

Where it lands in Jayverse

• Auditor: the evidence panel is the deliverable, not the sentence. Every agent finding the Auditor records should carry (source, query, row count, time window) as structured fields, not prose — "checkout leakage" is a claim until the query and the rows it returned are attached.
• Verex: a ledger question needs a block range, the same way a Snowflake claim needs a query. "Why did volume drop" against Verex's order book or settlement history should answer with the block range and the rows it summed, not just a number.
• Knowledge Notes: the weekly Slack post is a scheduled ratio, the same shape as this site's daily history file. A number that reappears every Monday only stays honest if the query behind it is pinned — the same discipline learning-greed-with-no-time's scoreboard depends on.
• Eng: interview question — "how would you make an AI analyst's answer auditable?" The honest answer is this demo's missing half: attach source, query, row count and time window to every claim, and let the schedule re-run the query, not just repeat last week's sentence.

Verified and unverified

Verified on 2026-09-19: OpenAI ships ChatGPT for business with connectors to Google Drive, Slack, SharePoint, GitHub, Snowflake and similar enterprise systems, plus scheduled tasks and agent-mode/"record mode" style features; Snowflake, Tableau, Microsoft Teams, Google Slides and Slack are real, documented integrations in that product family. Taken from the summary and not independently checked: the product name "ChatGPT Work" and "data agent" as a distinct SKU — this is a marketing demo, and the underlying data and all numbers shown (the 1.3%/2.5% conversion figures, the 157/39 recovery model) are synthetic; whether the rendered dashboard is a persisted, shareable artifact or a session-only view; the exact timestamps.

Sources: YouTube — OpenAI, "Data agent in ChatGPT Work" · related items: claude-for-cfos-verify-not-summarize, Tech #102 (MLflow tracing, LLM-as-judge), Tech #106 (harness engineering: schedule + connectors need an eval), yc-pick-one-idea-go-deep, design-constraints-layers-interfaces-choice, hwang-sokyong-read-classics-ai-era (Life), learning-greed-with-no-time.

← All Knowledge Notes · Workspace Index · Top ↑

Copy 한국어

OpenAI "데이터 에이전트" 데모는 화면에서 근본 원인을 지목한다 — 하지만 그것을 증명하는 쿼리는 보여주지 않는다

OpenAI의 공식 쇼케이스 "Data agent in ChatGPT Work"(YouTube, 약 1분)는 대본화된 질문 하나를 따라간다. PM이 "Dash XV 스니커즈 출시가 트래픽은 높은데 매출은 그대로다, 무슨 일이냐"라고 입력한다(00:13). 이후 45초 동안 에이전트는 자기 작업 단계를 내레이션하고, 숫자 하나를 꺼내고, 근본 원인을 지목하고, Google Slides 덱을 갱신하고, 음성으로 실시간 대시보드를 렌더링하고, 반복되는 Slack 게시를 예약한다. 마케팅 영상이라 모든 숫자는 합성 데이터이고 모든 단계는 속도감을 위해 편집됐다. 하지만 워크플로의 모양 — 자연어 질문 입력, 여러 도구를 넘나드는 조사, 원클릭 산출물, 예약된 요약 — 은 오늘날 ChatGPT for business가 커넥터와 예약 작업(scheduled tasks)으로 실제로 제공하는 것과 같은 모양이다. 그래서 이 데모 자체는 의심하더라도 패턴으로서는 진지하게 볼 가치가 있다.

Jayverse 입장에서 이것은 따라 만들 기능이 아니라, 누가 행동에 옮기기 전에 "AI 분석가"의 답이 갖춰야 할 체크리스트다. 데모의 빈틈은 정확히 Auditor 행이 이미 메우려던 그 빈틈이다.

왜

이 데모의 매력은 오후 내내 걸릴 대시보드 순회를 문장 하나로 압축한다는 점이다. 그 압축이 곧 위험이기도 하다. 에이전트는 자기 "사고 과정"을 친근한 캡션으로 보여준다 — "회사 맥락 검토 중", "트래픽·전환·매출 비교 중" — 하지만 다른 사람이 검증할 수 있는 산출물로는 결코 보여주지 않는다. "근본 원인: 체크아웃 이탈과 초대 링크 버그"(00:24–00:33)라고 말할 때, Snowflake에 돌린 SQL도, 읽은 Tableau 뷰도, 인용 중인 Teams 스레드가 무엇인지도 화면에 없다. 그것이 분석가와, 분석가처럼 말하는 블랙박스의 차이다. 황석영의 AI 시대에 대한 지적 — 희소해지는 기술은 답이 아니라 질문의 질이라는 것 — 은 여기서도 반대 방향으로 적용된다. 좋은 질문은 재서술할 수 있는 답이 아니라 다시 도출할 수 있는 답을 받을 자격이 있다.

동작 방식

질문과 화면에 보이는 "사고 과정"

PM의 질문은 쿼리가 아니라 열린 형태의 비즈니스 질문이다. 에이전트는 단일 블랙박스 답 대신 라벨 붙은 단계들의 연속으로 응답한다. 회사 맥락 검토(00:15), 이어서 Snowflake에서 트래픽·전환·매출 비교, Tableau 매출 대시보드 교차 확인, Microsoft Teams의 Dash XV 스레드 읽기(00:16). 이것은 "에이전트 모드" 패턴이다 — 데이터 소스마다 맞춤 통합을 짜는 대신, LLM이 회사의 기존 도구들에 걸쳐 커넥터를 운전한다.

숫자 하나에서 지목된 원인으로

에이전트는 비교 하나를 제시한다 — 제품 페이지 트래픽은 이번 분기 출시 중 가장 높지만, 전환율은 1.3%로 출시 평균 2.5%에 못 미친다(00:17) — 그리고 왜인지를 지목한다. 체크아웃 이탈에 초대 링크 버그가 더해진 것으로, 하락이 언제 시작했는지만이 아니라 그 메커니즘까지(00:24–00:33). 지표 비교 하나에서 메커니즘을 지목하는 것은 이 영상에서 가장 강한 주장이면서 가장 근거가 적게 보이는 주장이다. 트래픽과 전환율 사이의 격차는 수십 가지 원인과 부합할 수 있다. 그중 하나를 골라 "그" 근본 원인으로 제시하려면 격차 자체가 아니라 그 밑의 로우 데이터가 필요하다.

원클릭으로 산출물로, 그리고 살아있는 대시보드로

지시 하나 — "이 분석과 체크아웃 이슈, 권장 조치를 Dash XV 출시 주간 Google Slides 덱에 추가해줘" — 로 덱이 직접 갱신된다(00:35–00:38). 이어서 에이전트는 팀을 위한 인터랙티브 웹 대시보드를 렌더링한다(00:41–00:56). 음성으로 "여기는 전환율 대신 트래픽을 보여줘"라고 하면 카드 배치가 실시간으로 다시 짜인다(00:44–00:48). 대시보드는 브랜드 컬러, 테마, 타이포그래피를 자동으로 적용한다(00:49–00:52). 인용된 회복 모델 — 157명 회복, 39명 남음(00:28–00:34) — 은 트래픽 숫자와 같은 확신으로 제시되지만, 이것은 측정값이 아니라 예측값이고 영상은 그 구분을 표시하지 않는다.

요약을 예약하기

마무리 지시 — "매월 월요일 아침마다 이 대시보드를 갱신하고 주요 변화를 Slack #product-leads에 게시해줘"(00:58–01:00) — 는 일회성 조사를 상시 작업으로 바꾼다. 매주 게시는 숫자, 요약, 대시보드 링크를 함께 담는다(01:01–01:02). 이것은 선박 컨테이너의 표준 인터페이스와 같은 움직임이다 — 커넥터-예약 조합 하나가 Snowflake, Tableau, Teams, Slack, Slides에 대한 맞춤 통합들을 대신한다 — 그리고 같은 트레이드오프도 따라온다. 표준 인터페이스는 컨테이너 안이 무엇인지를 숨기고, 여기서는 어떤 쿼리가 돌았고 어떤 로우가 돌아왔는지를 숨긴다. YC의 "과제가 아니라 결과를 책임진다"는 프레이밍도 적용된다. 게시를 예약하는 것은 쉽다. 다음 월요일의 숫자가 여전히 참인지를 책임지는 것이 진짜 일이다.

Jayverse에서의 위치

• Auditor: 증거 패널이 산출물이지, 문장이 아니다. Auditor가 기록하는 모든 에이전트 발견은 (출처, 쿼리, 로우 수, 시간 창)을 산문이 아니라 구조화된 필드로 담아야 한다. "체크아웃 이탈"은 쿼리와 그 결과 로우가 첨부되기 전까지는 하나의 주장일 뿐이다.
• Verex: 원장 질문에도 블록 범위가 필요하다, Snowflake 주장에 쿼리가 필요하듯. Verex의 주문장이나 정산 이력에 "왜 거래량이 떨어졌나"를 물으면, 숫자만이 아니라 합산한 블록 범위와 그 로우를 함께 답해야 한다.
• Knowledge Notes: 매주 Slack 게시는 예약된 비율이다, 이 사이트의 일별 히스토리 파일과 같은 모양으로. 매주 월요일 다시 나타나는 숫자는 그 뒤의 쿼리가 고정돼 있을 때만 정직함을 유지한다 — learning-greed-with-no-time의 점수판이 의존하는 것과 같은 규율이다.
• Eng: 면접 질문 — "AI 분석가의 답을 어떻게 감사 가능하게 만들겠는가?" 정직한 답은 이 데모의 빠진 절반이다. 모든 주장에 출처, 쿼리, 로우 수, 시간 창을 붙이고, 예약은 지난주 문장을 반복하는 게 아니라 쿼리를 다시 돌리게 하라.

확인된 것과 미확인

2026-09-19 확인: OpenAI는 ChatGPT for business를 Google Drive, Slack, SharePoint, GitHub, Snowflake 등 기업 시스템 커넥터와 예약 작업, 에이전트 모드·"레코드 모드" 계열 기능과 함께 제공하고 있으며, Snowflake, Tableau, Microsoft Teams, Google Slides, Slack은 그 제품군에서 실제로 문서화된 통합이다. 요약에서 가져왔고 독립 확인하지 않은 것: "ChatGPT Work"라는 제품명과 "데이터 에이전트"가 별도 SKU라는 점 — 이것은 마케팅 데모이며, 나온 데이터와 모든 숫자(전환율 1.3%/2.5%, 회복 모델 157/39)는 합성 데이터다. 렌더링된 대시보드가 영구 저장되어 공유 가능한 산출물인지 아니면 세션 한정 뷰인지도 미확인. 정확한 타임스탬프 역시 요약에서 가져온 것.

출처: YouTube — OpenAI, "Data agent in ChatGPT Work" · 관련 항목: claude-for-cfos-verify-not-summarize, Tech #102(MLflow 트레이싱, LLM-as-judge), Tech #106(하니스 엔지니어링: 스케줄+커넥터에는 평가가 필요하다), yc-pick-one-idea-go-deep, design-constraints-layers-interfaces-choice, hwang-sokyong-read-classics-ai-era(Life), learning-greed-with-no-time.

← 전체 기술 노트 · 워크스페이스 인덱스 · 맨 위 ↑