처음이어도 괜찮아요 · 그림부터 시작해요
AI 생성 patch와 test를 독립 감사한다
AI가 만든 patch·test·mock·logging 변경을 requirement oracle, minimal diff, negative control, hidden variant, secret scan과 human approval로 감사한다. 이 판단을 생략하면 통과한 test와 많은 log가 있어도 결함을 놓치거나 잘못된 수정을 승인할 수 있습니다.
아직 답을 몰라도 괜찮아요. 아래 작은 예시를 보고 먼저 예상해 보세요.01 · 가볍게 시작하기
정답을 보기 전에 먼저 골라볼까요?
synthetic td52 fixture · secret 없는 고정 입력 · exact Python 3.14.6- 1먼저 골라보기
틀려도 괜찮아요. 지금 생각한 답 하나를 정해요.
- 2그림으로 확인하기
움직이는 순서와 달라지는 곳만 천천히 찾아요.
- 3내 말로 다시 말하기
한 문장으로 말해 보면 내가 이해한 곳을 확인할 수 있어요.
02 · 그림으로 보기
그림이 움직이는 순서를 직접 확인해요
- 01관찰AI patch audit · oracle laundering · tautological test · human approval
- 02추론AI가 test와 implementation을 함께 만들면 같은 오해가 oracle로 세탁될 수 있어 사람이 expected를 먼저 고정한다. AI patch는 최소 재현 failure를 제거하면서 인접 계약·security·performance·logging non-disclosure를 보존해야 한다. 승인은 설명의 자신감이 아니라 known-good·known-bad·hidden transfer·clean replay evidence와 명시적 human judgement에 근거한다.
- 03검증AI 생성 patch와 test를 독립 감사한다의 예상 결과·관찰 결과·판정 oracle을 실행 전에 분리해 기록한다. AI가 현재 구현 출력을 expected로 복사한다.에서 최초 불일치 지점과 근본 원인을 재현 가능한 evidence로 국소화한다. AI 없이 고정한 oracle이 patch 전 실패·patch 후 통과하고 target mutant·hidden variant를 거부을 정상·경계·실패 fixture에 적용하고 false green·false red가 없는지 검증한다.
처음 보는 말도 책 읽듯 풀어봐요
이 수업은 쉬운 뜻과 생활 예를 아직 함께 준비하지 못했어요. 설명 없는 정확한 이름은 먼저 보여 주지 않을게요.
그림에서 찾을 쉬운 규칙
- 01AI가 test와 implementation을 함께 만들면 같은 오해가 oracle로 세탁될 수 있어 사람이 expected를 먼저 고정한다.
- 02AI patch는 최소 재현 failure를 제거하면서 인접 계약·security·performance·logging non-disclosure를 보존해야 한다.
- 03승인은 설명의 자신감이 아니라 known-good·known-bad·hidden transfer·clean replay evidence와 명시적 human judgement에 근거한다.
03 · 같이 풀어보기
한 단계씩 따라가면 어렵지 않아요
AI coding agent pull request의 production approval에서 AI 생성 patch와 test를 독립 감사한다 계약을 적용한다.
synthetic td52 fixture · secret 없는 고정 입력 · exact Python 3.14.604 · 이제 내가 해볼 차례
여기까지 오면 이런 일을 할 수 있어요
AI가 만든 patch·test·mock·logging 변경을 requirement oracle, minimal diff, negative control, hidden variant, secret scan과 human approval로 감사한다.
- AI 생성 patch와 test를 독립 감사한다의 예상 결과·관찰 결과·판정 oracle을 실행 전에 분리해 기록한다.
- AI가 현재 구현 출력을 expected로 복사한다.에서 최초 불일치 지점과 근본 원인을 재현 가능한 evidence로 국소화한다.
- AI 없이 고정한 oracle이 patch 전 실패·patch 후 통과하고 target mutant·hidden variant를 거부을 정상·경계·실패 fixture에 적용하고 false green·false red가 없는지 검증한다.
05 · 자주 헷갈리는 지점
틀린 답도 이유를 알면 다음에는 맞힐 수 있어요
01AI가 추가한 test가 모두 통과하면 patch는 production-ready다.
한 번 더 생각해 볼 질문AI 생성 patch와 test를 독립 감사한다의 최소 fixture에서 이 주장을 깨는 관찰값과 판정 근거를 각각 한 줄로 쓰세요.
이렇게 고쳐 생각해요AI가 test와 implementation을 함께 만들면 같은 오해가 oracle로 세탁될 수 있어 사람이 expected를 먼저 고정한다.
02AI가 공식 문서 링크를 제시하면 mock target과 API 의미를 다시 검증할 필요가 없다.
한 번 더 생각해 볼 질문AI 생성 patch와 test를 독립 감사한다의 최소 fixture에서 이 주장을 깨는 관찰값과 판정 근거를 각각 한 줄로 쓰세요.
이렇게 고쳐 생각해요AI patch는 최소 재현 failure를 제거하면서 인접 계약·security·performance·logging non-disclosure를 보존해야 한다.
03큰 refactor patch가 작은 fix보다 많은 문제를 함께 해결하므로 더 안전하다.
한 번 더 생각해 볼 질문AI 생성 patch와 test를 독립 감사한다의 최소 fixture에서 이 주장을 깨는 관찰값과 판정 근거를 각각 한 줄로 쓰세요.
이렇게 고쳐 생각해요승인은 설명의 자신감이 아니라 known-good·known-bad·hidden transfer·clean replay evidence와 명시적 human judgement에 근거한다.
06 · 더 궁금할 때만 보기
선생님과 검토자를 위한 믿을 만한 원문
원문과 어디까지 참고했는지 펼쳐 보기처음 배우는 동안에는 열지 않아도 괜찮아요.
Mock·patch, lookup-site patch, spec·spec_set·autospec, side_effect와 복원 경계
Logger hierarchy, level, Handler·Filter·Formatter·LogRecord와 propagation의 공식 계약
discovery, assertion introspection, parametrization, markers, raises, warning·capture·debugging과 import 경계
global state, ordering, cleanup, timing, parallelism과 flaky test의 원인·완화 경계
statement·branch source/destination pair, partial branch, exclusion과 report 계약. correctness 증명이 아님
property strategy, shrinking·replay, global·filesystem·random·thread·network state의 flaky 경계. 약한 oracle을 보완하지 않음
setup-python, version matrix, dependency install, pytest·coverage, result artifact를 포함한 CI workflow