pandas 데이터 처리
표를 빠르게 조작하는 데서 멈추지 않고 질문·grain·schema·source·license·privacy를 먼저 봉인한 뒤 raw→validate→clean→join→aggregate→visualize→publish 전 과정의 row·key·null·dtype·lineage 변화를 deterministic evidence로 증명한다.
- 작은 수업
- 72개
- 바로 풀어볼 수 있는 문제
- 8 / 576개
- 직접 움직이는 그림
- 1 / 72개
- 나중에 다시 풀기
- 1일 · 7일 · 30일 뒤
모든 작은 수업이 같은 순서로 이어져요
보고, 해보고, 내 말로 설명하는 열두 단계
먼저 골라 보고, 직접 해보고, 생각과 달라진 첫 곳을 찾아요. 한 가지를 바꿔 다시 해본 뒤 새로운 생활 장면에서도 같은 생각을 쓸 수 있는지 확인해요.
- 01오늘 할 일왜 배우는지
- 02먼저 떠올리기이미 아는 것
- 03그림으로 보기어떻게 움직이나
- 04먼저 골라보기하기 전 생각
- 05직접 해보기무엇이 보이나
- 06막힌 곳 찾기처음 다른 곳
- 07하나 바꿔보기한 가지
- 08내가 만들기직접 완성
- 09다시 확인하기새 문제로 확인
- 10내 말로 설명한 문장 기록
- 11생활에 써보기새로운 장면
- 12나중에 다시1·7·30일
72개 작은 수업으로 나눴어요
배울 내용 골라 보기
각 작은 수업에는 그림, 자주 헷갈리는 곳, 막혔을 때 볼 도움과 여덟 연습 문제가 있어요. 먼저 그림으로 이해하고, 따라 해보고, 혼자 풀고, 내가 한 일을 남기는 순서로 열립니다.
- 01
학습 자료와 연습 문제 준비 중
데이터에서 판단까지의 경계를 세운다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 일의 순서를 선으로 이은 그림 · 먼저 알면 좋은 수업 1개
- 02
학습 자료와 연습 문제 준비 중
관찰 단위와 grain을 고정한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 연습할 자료 묶음 · 먼저 알면 좋은 수업 1개
- 03
학습 자료와 연습 문제 준비 중
population·sample·기간·coverage를 명시한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 1개
- 04
학습 자료와 연습 문제 준비 중
identifier·dimension·measure 역할을 구분한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 비교표 · 먼저 알면 좋은 수업 1개
- 05
학습 자료와 연습 문제 준비 중
측정척도·단위·locale을 계약한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 비교표 · 먼저 알면 좋은 수업 1개
- 06
학습 자료와 연습 문제 준비 중
schema·key·domain 계약을 작성한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 모습이 바뀌는 순서 그림 · 먼저 알면 좋은 수업 3개
- 07
학습 자료와 연습 문제 준비 중
출처·license·목적·보존을 등록한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 일의 순서를 선으로 이은 그림 · 먼저 알면 좋은 수업 2개
- 08
학습 자료와 연습 문제 준비 중
entity·activity·agent lineage를 기록한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 2개
- 09
학습 자료와 연습 문제 준비 중
raw·clean·report 계층을 분리한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 일의 순서를 선으로 이은 그림 · 먼저 알면 좋은 수업 1개
- 10
학습 자료와 연습 문제 준비 중
CSV dialect·encoding·newline을 통제한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령이 움직이는 순서를 한 줄씩 보는 그림 · 먼저 알면 좋은 수업 2개
- 11
학습 자료와 연습 문제 준비 중
read_csv 입력 schema를 명시한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령이 움직이는 순서를 한 줄씩 보는 그림 · 먼저 알면 좋은 수업 2개
- 12
학습 자료와 연습 문제 준비 중
bad line을 reject ledger로 보존한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 연습할 자료 묶음 · 먼저 알면 좋은 수업 2개
- 13
학습 자료와 연습 문제 준비 중
chunk로 제한된 ingestion을 수행한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 시간 순서 그림 · 먼저 알면 좋은 수업 2개
- 14
학습 자료와 연습 문제 준비 중
SQLite snapshot을 안전하게 읽는다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 시간 순서 그림 · 먼저 알면 좋은 수업 2개
- 15
학습 자료와 연습 문제 준비 중
parameterized query와 transaction 경계를 지킨다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령이 움직이는 순서를 한 줄씩 보는 그림 · 먼저 알면 좋은 수업 1개
- 16
학습 자료와 연습 문제 준비 중
입력 fingerprint와 profile receipt를 만든다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 3개
- 17
학습 자료와 연습 문제 준비 중
ndarray shape·axis·dtype을 읽는다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 기억할 곳을 나눈 그림 · 먼저 알면 좋은 수업 2개
- 18
학습 자료와 연습 문제 준비 중
array 생성과 copy 계약을 선택한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 기억할 곳을 나눈 그림 · 먼저 알면 좋은 수업 1개
- 19
학습 자료와 연습 문제 준비 중
fixed-width overflow를 검출한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령이 움직이는 순서를 한 줄씩 보는 그림 · 먼저 알면 좋은 수업 1개
- 20
학습 자료와 연습 문제 준비 중
basic view와 advanced copy를 구분한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 기억할 곳을 나눈 그림 · 먼저 알면 좋은 수업 1개
- 21
학습 자료와 연습 문제 준비 중
boolean mask shape를 검증한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 2개
- 22
학습 자료와 연습 문제 준비 중
broadcasting과 memory risk를 판정한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 1개
- 23
학습 자료와 연습 문제 준비 중
ufunc와 where로 변환한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령이 움직이는 순서를 한 줄씩 보는 그림 · 먼저 알면 좋은 수업 2개
- 24
학습 자료와 연습 문제 준비 중
reduction axis와 nonfinite를 검증한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 2개
- 25
학습 자료와 연습 문제 준비 중
Series의 값·Index·name을 연결한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 기억할 곳을 나눈 그림 · 먼저 알면 좋은 수업 2개
- 26
학습 자료와 연습 문제 준비 중
DataFrame의 행·열·schema를 읽는다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 1개
- 27
학습 자료와 연습 문제 준비 중
RangeIndex와 domain key를 분리한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 비교표 · 먼저 알면 좋은 수업 2개
- 28
학습 자료와 연습 문제 준비 중
loc label과 iloc position을 구분한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령이 움직이는 순서를 한 줄씩 보는 그림 · 먼저 알면 좋은 수업 1개
- 29
학습 자료와 연습 문제 준비 중
자동 alignment와 NaN 생성을 추적한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 2개
- 30
학습 자료와 연습 문제 준비 중
reindex와 duplicate label을 검증한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 모습이 바뀌는 순서 그림 · 먼저 알면 좋은 수업 1개
- 31
학습 자료와 연습 문제 준비 중
추론 dtype과 명시 dtype을 비교한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 비교표 · 먼저 알면 좋은 수업 2개
- 32
학습 자료와 연습 문제 준비 중
pandas 3 nullable·string·category를 다룬다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 1개
- 33
학습 자료와 연습 문제 준비 중
None·NaN·NA·NaT를 구분한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 비교표 · 먼저 알면 좋은 수업 2개
- 34
학습 자료와 연습 문제 준비 중
three-valued Boolean mask를 판정한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 2개
- 35
학습 자료와 연습 문제 준비 중
그룹·시간별 missingness를 측정한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 숫자를 비교하는 그림 · 먼저 알면 좋은 수업 2개
- 36
학습 자료와 연습 문제 준비 중
MCAR·MAR·MNAR을 가설로만 다룬다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 일의 순서를 선으로 이은 그림 · 먼저 알면 좋은 수업 2개
- 37
학습 자료와 연습 문제 준비 중
drop·fill·impute 정책을 증명한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 2개
- 38
학습 자료와 연습 문제 준비 중
invalid와 missing을 분리한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 모습이 바뀌는 순서 그림 · 먼저 알면 좋은 수업 2개
- 39
학습 자료와 연습 문제 준비 중
중복 행·entity·정상 반복을 구분한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 연습할 자료 묶음 · 먼저 알면 좋은 수업 3개
- 40
학습 자료와 연습 문제 준비 중
문자열·단위·category를 가역 정규화한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 3개
- 41
학습 자료와 연습 문제 준비 중
vectorized assign·map·where를 사용한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령이 움직이는 순서를 한 줄씩 보는 그림 · 먼저 알면 좋은 수업 3개
- 42
학습 자료와 연습 문제 준비 중
pandas 3 Copy-on-Write를 추적한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 기억할 곳을 나눈 그림 · 먼저 알면 좋은 수업 3개
- 43
학습 자료와 연습 문제 준비 중
chained assignment를 단일 loc로 고친다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 처음 달라진 곳을 찾는 창 · 먼저 알면 좋은 수업 2개
- 44
학습 자료와 연습 문제 준비 중
derived column lineage를 남긴다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 2개
- 45
학습 자료와 연습 문제 준비 중
datetime을 명시적 format으로 파싱한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 모습이 바뀌는 순서 그림 · 먼저 알면 좋은 수업 3개
- 46
학습 자료와 연습 문제 준비 중
naive·aware timezone을 UTC로 정규화한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 시간 순서 그림 · 먼저 알면 좋은 수업 1개
- 47
학습 자료와 연습 문제 준비 중
안정 정렬과 tie key를 고정한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 시간 순서 그림 · 먼저 알면 좋은 수업 2개
- 48
학습 자료와 연습 문제 준비 중
pre/post condition과 idempotent pipeline을 만든다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 모습이 바뀌는 순서 그림 · 먼저 알면 좋은 수업 3개
- 49
학습 자료와 연습 문제 준비 중
concat의 축과 schema alignment를 검증한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 3개
- 50
학습 자료와 연습 문제 준비 중
join key와 null-key 정책을 정한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 비교표 · 먼저 알면 좋은 수업 3개
- 51
학습 자료와 연습 문제 준비 중
merge cardinality를 validate한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 모습이 바뀌는 순서 그림 · 먼저 알면 좋은 수업 3개
- 52
학습 자료와 연습 문제 준비 중
unmatched와 row explosion을 추적한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 1개
- 53
학습 자료와 연습 문제 준비 중
long·wide·melt·pivot을 변환한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 3개
- 54
학습 자료와 연습 문제 준비 중
pivot uniqueness와 pivot_table 집계를 구분한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 모습이 바뀌는 순서 그림 · 먼저 알면 좋은 수업 2개
- 55
학습 자료와 연습 문제 준비 중
groupby split-apply-combine을 추적한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 3개
- 56
학습 자료와 연습 문제 준비 중
agg·transform·filter를 구분한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령이 움직이는 순서를 한 줄씩 보는 그림 · 먼저 알면 좋은 수업 1개
- 57
학습 자료와 연습 문제 준비 중
count·size와 denominator를 구분한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 비교표 · 먼저 알면 좋은 수업 3개
- 58
학습 자료와 연습 문제 준비 중
기술통계와 correlation의 경계를 설명한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 숫자를 비교하는 그림 · 먼저 알면 좋은 수업 3개
- 59
학습 자료와 연습 문제 준비 중
질문에 맞는 chart encoding을 선택한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 2개
- 60
학습 자료와 연습 문제 준비 중
Figure·Axes에 단위·source·n을 표시한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령이 움직이는 순서를 한 줄씩 보는 그림 · 먼저 알면 좋은 수업 1개
- 61
학습 자료와 연습 문제 준비 중
scale·baseline·bin·order 왜곡을 막는다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 3개
- 62
학습 자료와 연습 문제 준비 중
색상·형태·label로 접근성을 확보한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 숫자를 비교하는 그림 · 먼저 알면 좋은 수업 2개
- 63
학습 자료와 연습 문제 준비 중
uncertainty·missing·제외를 시각화한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 숫자를 비교하는 그림 · 먼저 알면 좋은 수업 3개
- 64
학습 자료와 연습 문제 준비 중
Agg로 semantic chart artifact를 발행한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 명령을 직접 써 보는 창 · 먼저 알면 좋은 수업 4개
- 65
대표 체험 수업
Gold provenance-first pipeline을 완성한다
8개 바로 풀 문제 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 8개
- 66
학습 자료와 연습 문제 준비 중
assertion과 adversarial mutant를 통과한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 처음 달라진 곳을 찾는 창 · 먼저 알면 좋은 수업 3개
- 67
학습 자료와 연습 문제 준비 중
script와 notebook을 clean replay한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 시간 순서 그림 · 먼저 알면 좋은 수업 4개
- 68
학습 자료와 연습 문제 준비 중
privacy 최소화와 AI prompt 경계를 지킨다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 일의 순서를 선으로 이은 그림 · 먼저 알면 좋은 수업 4개
- 69
학습 자료와 연습 문제 준비 중
PCED 데이터 objective에 전이한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 비교표 · 먼저 알면 좋은 수업 4개
- 70
학습 자료와 연습 문제 준비 중
PCAD pandas·NumPy·시각화에 전이한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 비교표 · 먼저 알면 좋은 수업 4개
- 71
학습 자료와 연습 문제 준비 중
leakage·bias·AI 정제를 audit한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 직접 움직여 보는 그림 · 먼저 알면 좋은 수업 4개
- 72
학습 자료와 연습 문제 준비 중
M12 evidence bundle을 인계한다
8개 연습 문제 틀 · 자주 헷갈리는 곳 3개 · 일의 순서를 선으로 이은 그림 · 먼저 알면 좋은 수업 5개
마지막에 혼자 해 보는 도전
PROFILE_CONTRACT→TRANSFORM_WITH_LINEAGE→VALIDATE_RECONCILE→PUBLISH_REPLAY의 4-phase 64-state matrix로 provenance-first 표 데이터 pipeline과 raw·clean·reject·report·chart·manifest evidence bundle을 완성한다.
실제와 닮은 상황
고정된 synthetic CSV·SQLite snapshot이 dtype drift, index misalignment, missing·invalid·duplicate, null-key·many-to-many join explosion과 privacy over-collection을 주입하고 UTC·Agg·outbound deny 아래 implicit-notebook·clean-only·schema-guarded·provenance-first 정책을 비교하는 production-shaped data review다.
AI가 제안한 schema·정제·missing policy·join·aggregation·chart·narrative를 단계별로 표시하고, AI 사용 전에 사람이 고정한 question/grain/privacy·row/key/null invariant와 AI 없이 통과한 local negative-control·clean replay evidence를 별도 제출한다.
마지막에 완성할 것
- 질문·grain·population/sample·time coverage·column dtype/unit/nullability/domain/key·source/license/purpose/retention을 고정한 versioned data contract
- raw source hash·schema profile, row/key/null conservation, rejected-row reason, join cardinality·unmatched/expansion과 entity-activity-agent lineage가 연결된 64-state replay trace
- Python 3.14.6·pandas 3.0.5·NumPy 2.5.1·Matplotlib 3.11.1·pytest 9.0.0 runtime receipt, frozen positive/boundary/adversarial fixtures와 pandas.testing assertion report
- Agg SVG/PNG와 semantic chart specification, clean-kernel notebook/script parity, privacy minimization·AI transformation disclosure와 M12 handoff manifest
다 했는지 확인하는 기준
- 명시적 dtype·encoding·NA·datetime·key·domain 계약 전에 통계를 계산하지 않고 bad line·invalid·duplicate·missing row를 silent drop하지 않으며 모든 제외를 reject ledger와 denominator에 반영한다.
- loc/iloc·view/copy·Copy-on-Write·nullable dtype·timezone·sort 의미를 구분하고 chained assignment·index misalignment·fixed-width overflow·broadcast memory risk를 adversarial fixture에서 재현·수정한다.
- merge 전에 key uniqueness와 null-key policy를 검증하고 validate·indicator·row expansion ratio로 cardinality breach와 unmatched entity를 fail-closed 판정한다.
- 기술통계는 unit·population/sample·missing policy와 함께 제출하고 correlation을 causation으로, chart를 representativeness·fairness·uncertainty의 자동 증명으로 과장하지 않는다.
- 실제 개인정보·private dataset·live network 없이 frozen synthetic fixture만 사용하고 source hash·license/purpose/retention·privacy decision·forbidden-sentinel zero count를 manifest에 남긴다.
- DI65의 여덟 공개 self-review specification과 별도 hidden oracle 경계를 지키며 AI 없이 미공개 drift variant를 exact runtime에서 통과하고 human accept/refactor/reject verdict를 제출한다.
- pandas 3.0.4 yanked artifact나 다른 library version의 성공을 pandas 3.0.5 증거로 재사용하지 않고 exact version·backend·timezone·RNG BitGenerator/state를 기록한다.
- M12에는 검증된 clean data·report·chart·reject ledger·lineage·execution manifest만 전달하고 end-to-end 제품·live API·운영 배포가 완성됐다고 주장하지 않는다.
