처음이어도 괜찮아요 · 그림부터 시작해요
fault injection과 known-bad mutant로 oracle을 검증한다
timeout·429·schema drift·partial write·wrong denominator·secret log 같은 결함을 의도적으로 주입해 test가 실패하고 올바른 recovery verdict를 내는지 확인한다. 이를 생략하면 모든 test가 green이지만 구현을 명백히 망가뜨린 mutant도 살아남아 suite의 결함 탐지력을 알 수 없다. 상황에서도 데모는 보일 수 있지만 제품·검증·운영 책임을 방어할 수 없습니다.
아직 답을 몰라도 괜찮아요. 아래 작은 예시를 보고 먼저 예상해 보세요.01 · 가볍게 시작하기
정답을 보기 전에 먼저 골라볼까요?
cp30 frozen synthetic fixture · fixed clock/UTC · outbound deny · secret-like sentinel · one independent mutant- 1먼저 골라보기
틀려도 괜찮아요. 지금 생각한 답 하나를 정해요.
- 2그림으로 확인하기
움직이는 순서와 달라지는 곳만 천천히 찾아요.
- 3내 말로 다시 말하기
한 문장으로 말해 보면 내가 이해한 곳을 확인할 수 있어요.
02 · 그림으로 보기
그림이 움직이는 순서를 직접 확인해요
- 01관찰fault injection · mutant · oracle strength · survivor
- 02추론timeout·429·schema drift·partial write·wrong denominator·secret log 같은 결함을 의도적으로 주입해 test가 실패하고 올바른 recovery verdict를 내는지 확인한다. mutant catalog·killed/survived report·first failing assertion·recovery receipt·oracle revision는 모든 test가 green이지만 구현을 명백히 망가뜨린 mutant도 살아남아 suite의 결함 탐지력을 알 수 없다.를 포함한 정상·경계·실패 실행에서 독립적으로 다시 계산할 수 있어야 한다. fault injection과 known-bad mutant로 oracle을 검증한다은 AI-off 기준선을 먼저 봉인하고 AI 제안 diff를 검토한 뒤, AI가 보지 못한 mutant로 재검증하고 사람이 승인·수정·거절한다. AI-generated code와 test의 공통 가정을 독립적으로 깨는 review로 전이할 때 구현보다 contract·effect boundary·evidence owner·residual risk를 먼저 보존한다.
- 03검증fault injection과 known-bad mutant로 oracle을 검증한다의 contract·owner·normal/boundary/failure outcome을 AI 없이 먼저 고정한다. 모든 test가 green이지만 구현을 명백히 망가뜨린 mutant도 살아남아 suite의 결함 탐지력을 알 수 없다.를 frozen synthetic fixture로 재현하고 최초 divergence와 expected verdict를 설명한다. AI 제안은 baseline과 diff로만 검토하고 독립 mutant에서 capstone 핵심 invariant를 깨는 deterministic mutants와 fault schedule을 구현한다.을 다시 실행한다. mutant catalog·killed/survived report·first failing assertion·recovery receipt·oracle revision와 사람의 accept·refactor·reject 판정 및 residual risk를 함께 제출한다.
처음 보는 말도 책 읽듯 풀어봐요
이 수업은 쉬운 뜻과 생활 예를 아직 함께 준비하지 못했어요. 설명 없는 정확한 이름은 먼저 보여 주지 않을게요.
그림에서 찾을 쉬운 규칙
- 01timeout·429·schema drift·partial write·wrong denominator·secret log 같은 결함을 의도적으로 주입해 test가 실패하고 올바른 recovery verdict를 내는지 확인한다.
- 02mutant catalog·killed/survived report·first failing assertion·recovery receipt·oracle revision는 모든 test가 green이지만 구현을 명백히 망가뜨린 mutant도 살아남아 suite의 결함 탐지력을 알 수 없다.를 포함한 정상·경계·실패 실행에서 독립적으로 다시 계산할 수 있어야 한다.
- 03fault injection과 known-bad mutant로 oracle을 검증한다은 AI-off 기준선을 먼저 봉인하고 AI 제안 diff를 검토한 뒤, AI가 보지 못한 mutant로 재검증하고 사람이 승인·수정·거절한다.
- 04AI-generated code와 test의 공통 가정을 독립적으로 깨는 review로 전이할 때 구현보다 contract·effect boundary·evidence owner·residual risk를 먼저 보존한다.
03 · 같이 풀어보기
한 단계씩 따라가면 어렵지 않아요
AI-generated code와 test의 공통 가정을 독립적으로 깨는 review의 축소된 product slice에서 fault injection과 known-bad mutant로 oracle을 검증한다 release 판단을 수행한다.
cp30 frozen synthetic fixture · fixed clock/UTC · outbound deny · secret-like sentinel · one independent mutant04 · 이제 내가 해볼 차례
여기까지 오면 이런 일을 할 수 있어요
capstone 핵심 invariant를 깨는 deterministic mutants와 fault schedule을 구현한다.을 수행하고 mutant catalog·killed/survived report·first failing assertion·recovery receipt·oracle revision로 timeout·429·schema drift·partial write·wrong denominator·secret log 같은 결함을 의도적으로 주입해 test가 실패하고 올바른 recovery verdict를 내는지 확인한다.을 독립 검증한다.
- fault injection과 known-bad mutant로 oracle을 검증한다의 contract·owner·normal/boundary/failure outcome을 AI 없이 먼저 고정한다.
- 모든 test가 green이지만 구현을 명백히 망가뜨린 mutant도 살아남아 suite의 결함 탐지력을 알 수 없다.를 frozen synthetic fixture로 재현하고 최초 divergence와 expected verdict를 설명한다.
- AI 제안은 baseline과 diff로만 검토하고 독립 mutant에서 capstone 핵심 invariant를 깨는 deterministic mutants와 fault schedule을 구현한다.을 다시 실행한다.
- mutant catalog·killed/survived report·first failing assertion·recovery receipt·oracle revision와 사람의 accept·refactor·reject 판정 및 residual risk를 함께 제출한다.
05 · 자주 헷갈리는 지점
틀린 답도 이유를 알면 다음에는 맞힐 수 있어요
01test가 많이 통과하면 known-bad mutant를 실행할 필요가 없다.
한 번 더 생각해 볼 질문cp30 fault injection과 known-bad mutant로 oracle을 검증한다에서 이 주장을 깨는 최소 반례와 관찰 가능한 판정값을 쓰세요.
이렇게 고쳐 생각해요timeout·429·schema drift·partial write·wrong denominator·secret log 같은 결함을 의도적으로 주입해 test가 실패하고 올바른 recovery verdict를 내는지 확인한다.
02예외가 발생하면 어떤 assertion이 잡아도 mutant는 killed다.
한 번 더 생각해 볼 질문cp30 fault injection과 known-bad mutant로 oracle을 검증한다에서 이 주장을 깨는 최소 반례와 관찰 가능한 판정값을 쓰세요.
이렇게 고쳐 생각해요모든 test가 green이지만 구현을 명백히 망가뜨린 mutant도 살아남아 suite의 결함 탐지력을 알 수 없다.는 성공 출력과 별도로 재현하고 최초 위반 지점에서 차단해야 한다.
03AI에게 mutant와 test를 동시에 만들게 하면 독립성이 유지된다.
한 번 더 생각해 볼 질문cp30 fault injection과 known-bad mutant로 oracle을 검증한다에서 이 주장을 깨는 최소 반례와 관찰 가능한 판정값을 쓰세요.
이렇게 고쳐 생각해요mutant catalog·killed/survived report·first failing assertion·recovery receipt·oracle revision와 독립 mutant·human verdict가 함께 있어야 승인 범위를 설명할 수 있다.
06 · 더 궁금할 때만 보기
선생님과 검토자를 위한 믿을 만한 원문
원문과 어디까지 참고했는지 펼쳐 보기처음 배우는 동안에는 열지 않아도 괜찮아요.
valid·reliable·privacy-enhanced·fairness with harmful bias managed의 위험 관리 속성. 현재 revision 절차와 1.0 최종 문서를 구분한다.
Python 3.14를 포함한 M12 current test lane. 설치·실행 receipt 전에는 저장소 검증 완료를 주장하지 않는다.
fixture dependency·scope·yield cleanup과 tmp_path·monkeypatch·caplog 기반 deterministic failure injection