처음이어도 괜찮아요 · 그림부터 시작해요
marker·
등록된 marker로 suite를 분류하고 skip·xfail·XPASS를 환경·known defect 계약에 맞게 사용해 숨은 미실행을 방지한다. 이 판단을 생략하면 통과한 test와 많은 log가 있어도 결함을 놓치거나 잘못된 수정을 승인할 수 있습니다.
아직 답을 몰라도 괜찮아요. 아래 작은 예시를 보고 먼저 예상해 보세요.01 · 가볍게 시작하기
정답을 보기 전에 먼저 골라볼까요?
synthetic td23 fixture · secret 없는 고정 입력 · exact Python 3.14.6- 1먼저 골라보기
틀려도 괜찮아요. 지금 생각한 답 하나를 정해요.
- 2그림으로 확인하기
움직이는 순서와 달라지는 곳만 천천히 찾아요.
- 3내 말로 다시 말하기
한 문장으로 말해 보면 내가 이해한 곳을 확인할 수 있어요.
02 · 그림으로 보기
그림이 움직이는 순서를 직접 확인해요
- 01관찰marker · skip · xfail · XPASS
- 02추론custom marker는 config에 등록하고 의미·owner·선택 command를 문서화해야 typo가 새 분류가 되지 않는다. skip은 실행 조건이 성립하지 않음을, xfail은 알려진 failure expectation을 표현하며 서로 대체하지 않는다. unexpected pass는 defect가 고쳐졌거나 oracle이 약해진 신호이므로 strict XPASS 정책으로 검토한다.
- 03검증marker·선택·skip·xfail 의미를 지킨다의 예상 결과·관찰 결과·판정 oracle을 실행 전에 분리해 기록한다. marker typo로 핵심 integration test를 제외한다.에서 최초 불일치 지점과 근본 원인을 재현 가능한 evidence로 국소화한다. 선택별 expected node set과 설명 가능한 skip·xfail·XPASS count을 정상·경계·실패 fixture에 적용하고 false green·false red가 없는지 검증한다.
처음 보는 말도 책 읽듯 풀어봐요
이 수업은 쉬운 뜻과 생활 예를 아직 함께 준비하지 못했어요. 설명 없는 정확한 이름은 먼저 보여 주지 않을게요.
그림에서 찾을 쉬운 규칙
- 01custom marker는 config에 등록하고 의미·owner·선택 command를 문서화해야 typo가 새 분류가 되지 않는다.
- 02skip은 실행 조건이 성립하지 않음을, xfail은 알려진 failure expectation을 표현하며 서로 대체하지 않는다.
- 03unexpected pass는 defect가 고쳐졌거나 oracle이 약해진 신호이므로 strict XPASS 정책으로 검토한다.
03 · 같이 풀어보기
한 단계씩 따라가면 어렵지 않아요
다중 환경 release test suite에서 marker·선택·skip·xfail 의미를 지킨다 계약을 적용한다.
synthetic td23 fixture · secret 없는 고정 입력 · exact Python 3.14.604 · 이제 내가 해볼 차례
여기까지 오면 이런 일을 할 수 있어요
등록된 marker로 suite를 분류하고 skip·xfail·XPASS를 환경·known defect 계약에 맞게 사용해 숨은 미실행을 방지한다.
- marker·선택·skip·xfail 의미를 지킨다의 예상 결과·관찰 결과·판정 oracle을 실행 전에 분리해 기록한다.
- marker typo로 핵심 integration test를 제외한다.에서 최초 불일치 지점과 근본 원인을 재현 가능한 evidence로 국소화한다.
- 선택별 expected node set과 설명 가능한 skip·xfail·XPASS count을 정상·경계·실패 fixture에 적용하고 false green·false red가 없는지 검증한다.
05 · 자주 헷갈리는 지점
틀린 답도 이유를 알면 다음에는 맞힐 수 있어요
01느린 test가 실패하면 임시 skip을 넣어도 quality gate는 그대로다.
한 번 더 생각해 볼 질문marker·선택·skip·xfail 의미를 지킨다의 최소 fixture에서 이 주장을 깨는 관찰값과 판정 근거를 각각 한 줄로 쓰세요.
이렇게 고쳐 생각해요custom marker는 config에 등록하고 의미·owner·선택 command를 문서화해야 typo가 새 분류가 되지 않는다.
02xfail은 실패하는 test를 초록으로 만드는 주석일 뿐이다.
한 번 더 생각해 볼 질문marker·선택·skip·xfail 의미를 지킨다의 최소 fixture에서 이 주장을 깨는 관찰값과 판정 근거를 각각 한 줄로 쓰세요.
이렇게 고쳐 생각해요skip은 실행 조건이 성립하지 않음을, xfail은 알려진 failure expectation을 표현하며 서로 대체하지 않는다.
03XPASS는 좋은 일이므로 자동으로 무시해도 된다.
한 번 더 생각해 볼 질문marker·선택·skip·xfail 의미를 지킨다의 최소 fixture에서 이 주장을 깨는 관찰값과 판정 근거를 각각 한 줄로 쓰세요.
이렇게 고쳐 생각해요unexpected pass는 defect가 고쳐졌거나 oracle이 약해진 신호이므로 strict XPASS 정책으로 검토한다.
06 · 더 궁금할 때만 보기
선생님과 검토자를 위한 믿을 만한 원문
원문과 어디까지 참고했는지 펼쳐 보기처음 배우는 동안에는 열지 않아도 괜찮아요.
discovery, assertion introspection, parametrization, markers, raises, warning·capture·debugging과 import 경계
global state, ordering, cleanup, timing, parallelism과 flaky test의 원인·완화 경계
testing purpose·error/defect/failure, types·levels·process, coverage·refactoring, debugging·assertions·logging·white/black-box objective