학습 본문으로 건너뛰기
VAIRODE
자동화·데이터 Capstone3번째 작은 수업
오늘은 질문 하나만 해결해요3 / 72

처음이어도 괜찮아요 · 그림부터 시작해요

outcome metric과 anti-metric을 함께 정한다

오늘의 질문

성공을 나타내는 사용자 outcome, 악화되면 성공을 취소할 anti-metric, 측정 window와 decision threshold를 함께 봉인한다. 이를 생략하면 처리 건수나 화면 클릭 수만 높이고 오류·재작업·대기·개인정보 노출 비용을 측정하지 않는다. 상황에서도 데모는 보일 수 있지만 제품·검증·운영 책임을 방어할 수 없습니다.

아직 답을 몰라도 괜찮아요. 아래 작은 예시를 보고 먼저 예상해 보세요.

01 · 가볍게 시작하기

정답을 보기 전에 먼저 골라볼까요?

눈으로만 보고 답 하나를 떠올려 보세요자동 분류·리포트 생성·학습 추천의 실제 개선 여부를 판단하는 실험의 축소된 product slice에서 outcome metric과 anti-metric을 함께 정한다 release 판단을 수행한다.cp03 frozen synthetic fixture · fixed clock/UTC · outbound deny · secret-like sentinel · one independent mutant
  1. 1
    먼저 골라보기

    틀려도 괜찮아요. 지금 생각한 답 하나를 정해요.

  2. 2
    그림으로 확인하기

    움직이는 순서와 달라지는 곳만 천천히 찾아요.

  3. 3
    내 말로 다시 말하기

    한 문장으로 말해 보면 내가 이해한 곳을 확인할 수 있어요.

02 · 그림으로 보기

그림이 움직이는 순서를 직접 확인해요

outcome metric과 anti-metric을 함께 정한다의 관찰·추론·검증 지도outcome metric과 anti-metric을 함께 정한다의 정상 경로와 실패 경로, AI 제안 변경, 독립 검증, 사람 판정을 번호·도형·선 종류로 구분한 도식01관찰4개 핵심 용어02추론4개 작동 규칙03검증4개 통과 기준차트 · outcome metric과 anti-metric을 함께 정한다의 contract·implementation·failure·evidence·human verdict를 한 화면에서 대조한다.결과가 기준을 통과하지 못하면 관찰로 돌아가 최소 반례를 다시 수집합니다.
  1. 01관찰outcome metric · anti-metric · baseline · threshold
  2. 02추론성공을 나타내는 사용자 outcome, 악화되면 성공을 취소할 anti-metric, 측정 window와 decision threshold를 함께 봉인한다. baseline·numerator/denominator·window·threshold·anti-metric이 있는 decision scorecard는 처리 건수나 화면 클릭 수만 높이고 오류·재작업·대기·개인정보 노출 비용을 측정하지 않는다.를 포함한 정상·경계·실패 실행에서 독립적으로 다시 계산할 수 있어야 한다. outcome metric과 anti-metric을 함께 정한다은 AI-off 기준선을 먼저 봉인하고 AI 제안 diff를 검토한 뒤, AI가 보지 못한 mutant로 재검증하고 사람이 승인·수정·거절한다. 자동 분류·리포트 생성·학습 추천의 실제 개선 여부를 판단하는 실험로 전이할 때 구현보다 contract·effect boundary·evidence owner·residual risk를 먼저 보존한다.
  3. 03검증outcome metric과 anti-metric을 함께 정한다의 contract·owner·normal/boundary/failure outcome을 AI 없이 먼저 고정한다. 처리 건수나 화면 클릭 수만 높이고 오류·재작업·대기·개인정보 노출 비용을 측정하지 않는다.를 frozen synthetic fixture로 재현하고 최초 divergence와 expected verdict를 설명한다. AI 제안은 baseline과 diff로만 검토하고 독립 mutant에서 metric 계산식과 중단 조건을 같은 schema로 검증하는 outcome scorecard를 구현한다.을 다시 실행한다. baseline·numerator/denominator·window·threshold·anti-metric이 있는 decision scorecard와 사람의 accept·refactor·reject 판정 및 residual risk를 함께 제출한다.
outcome metric과 anti-metric을 함께 정한다의 contract·implementation·failure·evidence·human verdict를 한 화면에서 대조한다.성공을 나타내는 사용자 outcome, 악화되면 성공을 취소할 anti-metric, 측정 window와 decision threshold를 함께 봉인한다.에서 처리 건수나 화면 클릭 수만 높이고 오류·재작업·대기·개인정보 노출 비용을 측정하지 않는다.로 갈라지는 baseline·AI diff·independent mutant·human verdict 경로와 baseline·numerator/denominator·window·threshold·anti-metric이 있는 decision scorecard를 표시한다.현재 화면: 정적 요약 지도 · 읽는 방법: baseline·AI diff·mutant·verdict 단계를 선택하면 contract, first divergence, evidence와 residual risk가 동기화된다. · 모션 축소 설계: 자동 재생 없이 선택 결과를 즉시 표시하고 번호·문자 label·선 종류·pattern으로 색상 외 의미를 중복 제공한다.

처음 보는 말도 책 읽듯 풀어봐요

이 수업은 쉬운 뜻과 생활 예를 아직 함께 준비하지 못했어요. 설명 없는 정확한 이름은 먼저 보여 주지 않을게요.

그림에서 찾을 쉬운 규칙

  1. 01성공을 나타내는 사용자 outcome, 악화되면 성공을 취소할 anti-metric, 측정 window와 decision threshold를 함께 봉인한다.
  2. 02baseline·numerator/denominator·window·threshold·anti-metric이 있는 decision scorecard는 처리 건수나 화면 클릭 수만 높이고 오류·재작업·대기·개인정보 노출 비용을 측정하지 않는다.를 포함한 정상·경계·실패 실행에서 독립적으로 다시 계산할 수 있어야 한다.
  3. 03outcome metric과 anti-metric을 함께 정한다은 AI-off 기준선을 먼저 봉인하고 AI 제안 diff를 검토한 뒤, AI가 보지 못한 mutant로 재검증하고 사람이 승인·수정·거절한다.
  4. 04자동 분류·리포트 생성·학습 추천의 실제 개선 여부를 판단하는 실험로 전이할 때 구현보다 contract·effect boundary·evidence owner·residual risk를 먼저 보존한다.

03 · 같이 풀어보기

한 단계씩 따라가면 어렵지 않아요

자동 분류·리포트 생성·학습 추천의 실제 개선 여부를 판단하는 실험의 축소된 product slice에서 outcome metric과 anti-metric을 함께 정한다 release 판단을 수행한다.

함께 볼 작은 예시cp03 frozen synthetic fixture · fixed clock/UTC · outbound deny · secret-like sentinel · one independent mutant
내 말로 8자 이상 적어요 · 0 / 240

04 · 이제 내가 해볼 차례

여기까지 오면 이런 일을 할 수 있어요

metric 계산식과 중단 조건을 같은 schema로 검증하는 outcome scorecard를 구현한다.을 수행하고 baseline·numerator/denominator·window·threshold·anti-metric이 있는 decision scorecard로 성공을 나타내는 사용자 outcome, 악화되면 성공을 취소할 anti-metric, 측정 window와 decision threshold를 함께 봉인한다.을 독립 검증한다.

  • outcome metric과 anti-metric을 함께 정한다의 contract·owner·normal/boundary/failure outcome을 AI 없이 먼저 고정한다.
  • 처리 건수나 화면 클릭 수만 높이고 오류·재작업·대기·개인정보 노출 비용을 측정하지 않는다.를 frozen synthetic fixture로 재현하고 최초 divergence와 expected verdict를 설명한다.
  • AI 제안은 baseline과 diff로만 검토하고 독립 mutant에서 metric 계산식과 중단 조건을 같은 schema로 검증하는 outcome scorecard를 구현한다.을 다시 실행한다.
  • baseline·numerator/denominator·window·threshold·anti-metric이 있는 decision scorecard와 사람의 accept·refactor·reject 판정 및 residual risk를 함께 제출한다.

05 · 자주 헷갈리는 지점

틀린 답도 이유를 알면 다음에는 맞힐 수 있어요

01사용량이 늘면 사용자 outcome도 자동으로 좋아진다.

한 번 더 생각해 볼 질문cp03 outcome metric과 anti-metric을 함께 정한다에서 이 주장을 깨는 최소 반례와 관찰 가능한 판정값을 쓰세요.

이렇게 고쳐 생각해요성공을 나타내는 사용자 outcome, 악화되면 성공을 취소할 anti-metric, 측정 window와 decision threshold를 함께 봉인한다.

02평균 처리 시간 하나면 품질과 형평성까지 설명할 수 있다.

한 번 더 생각해 볼 질문cp03 outcome metric과 anti-metric을 함께 정한다에서 이 주장을 깨는 최소 반례와 관찰 가능한 판정값을 쓰세요.

이렇게 고쳐 생각해요처리 건수나 화면 클릭 수만 높이고 오류·재작업·대기·개인정보 노출 비용을 측정하지 않는다.는 성공 출력과 별도로 재현하고 최초 위반 지점에서 차단해야 한다.

03AI가 개선률을 계산했다면 분모와 제외 기준을 다시 볼 필요가 없다.

한 번 더 생각해 볼 질문cp03 outcome metric과 anti-metric을 함께 정한다에서 이 주장을 깨는 최소 반례와 관찰 가능한 판정값을 쓰세요.

이렇게 고쳐 생각해요baseline·numerator/denominator·window·threshold·anti-metric이 있는 decision scorecard와 독립 mutant·human verdict가 함께 있어야 승인 범위를 설명할 수 있다.

06 · 더 궁금할 때만 보기

선생님과 검토자를 위한 믿을 만한 원문

원문과 어디까지 참고했는지 펼쳐 보기처음 배우는 동안에는 열지 않아도 괜찮아요.
National Institute of Standards and Technology · 공개 문서를 확인했어요Artificial Intelligence Risk Management Framework

valid·reliable·privacy-enhanced·fairness with harmful bias managed의 위험 관리 속성. 현재 revision 절차와 1.0 최종 문서를 구분한다.

OpenTelemetry · 2026년 7월 28일에 확인했어요Observability primer

log·metric·trace, telemetry와 observability의 차이, SLI·SLO를 user-visible outcome과 연결하는 기반