GPT-5.6 모델×추론 스케일링 실전 테스트 — 지시문·채점 코드·라이브 결과물
영상에서 약속한 보조자료입니다. 테스트에 쓴 지시문 전문, 채점 코드, 그리고 여러분이 직접 열어 볼 수 있는 라이브 결과물을 모두 모아 뒀습니다.
GPT-5.6은 두 개의 다이얼을 줍니다 — 모델 크기(Luna → Terra → Sol)와 추론량(Low → … → Max → Ultra). 이 둘을 섞어 정답형·판단형·제작형 7종 과제를 만들고, 프롬프트를 6조합에 동일하게 고정한 채 자율 완주로 돌렸습니다. 채점 기준은 실행 전에 공개했고요. 아래 자료로 그대로 재현하거나, 새 모델이 나오면 같은 코드로 다시 재 볼 수 있습니다.
7번의 실측, 한눈에
| 테스트 | 유형 | 핵심 발견 |
|---|---|---|
| ①-A 영수증 지옥 | 정형·추출 | Terra 역설 — 중간 모델이 시행착오로 오히려 최고 비용. 같은 92점대에 가성비 꼴찌 |
| ①-B 월별 정산서 | 정형·엑셀 | 4조합 전원 만점 → 순수 비용 대결. Luna가 Sol의 1/6.9 비용으로 같은 결과 |
| ②-A 함정 매출 분석 | 판단·분석 | 심어 둔 7개 함정. 심슨의 역설(전사 총액↑ vs 12지점 전부↓)을 명시한 조합만 통과 |
| ②-B 사이트 클로닝 | 판단·재현 | Goodhart의 법칙 실증 — 고Effort 모델이 원본 스크린샷을 통짜 삽입해 채점 지표(SSIM)를 해킹 |
| ②-C 발표 슬라이드 | 제작·PPT | 수치 모순 함정 4/4 처리. 기본기(검산·분량 감각)는 조합 무관 상향평준화 |
| ③-A 달 착지 시뮬레이터 | 제작·물리 | 6조합 전부 물리 ±5% 통과. Terra가 Sol Ultra와 동급 품질을 1/11 비용($3.19 vs $35.73) |
| ③-B 지하철 모션그래픽 | 제작·데이터 | 데이터 미제공, 자율 수집. 6조합 전원 통과 — 리서치+조립은 작은 모델도 대등 |
전 과정에서 반복된 결론: Effort는 High가 천장이고, Ultra는 합격 후에도 끝없이 다듬으며 비용만 터뜨렸습니다. 좋은 시스템은 가장 강한 모델을 쓰는 게 아니라, 필요한 순간에만 강한 모델을 부릅니다.
테스트별 평가 결과
정성 판정과 채점기 아티팩트는 프레임·원문을 눈으로 확인해 수동 확정했습니다. 채점 기준 전문은 재현 키트의 평가설계.md에 있습니다. 비용은 캐시 단가를 분리 계산한 실측값입니다.
①-A 영수증 지옥 (정형·추출)
| 조합 | 판정 | 점수 | 비용 | 점수/달러 |
|---|---|---|---|---|
| Sol Medium | ✅ | 92.8 | $0.81 | 114 |
| Terra Medium | ✅ | 92.5 | $1.07 | 86 |
| Luna Medium | ✅ | 87.2 | $0.34 | 259 |
| Luna High | ✅ | 86.4 | $0.30 | 289 |
| Luna Low | ❌ | 76.4 | $0.25 | — |
Terra 역설 — 단가는 Sol의 절반이지만 시행착오로 토큰을 2.4배 태워 과업 비용이 Sol보다 32% 비쌌습니다. 비정형 이미지 판독이라 Luna Low는 유일하게 탈락.
①-B 월별 정산서 (정형·엑셀)
| 조합 | 점수 | 비용 | 점수/달러 |
|---|---|---|---|
| Luna Medium | 100 | $0.199 | 502 |
| Luna High | 100 | $0.348 | 287 |
| Terra Medium | 100 | $0.582 | 172 |
| Sol Medium | 100 | $1.365 | 73 |
전원 만점(숨은 규칙까지 준수) → 순수 비용 대결. Luna Medium이 Sol Medium의 1/6.9 비용으로 같은 결과.
②-A 함정 매출 분석 (판단·분석)
| 조합 | 함정 recall | 점수 | 비용 |
|---|---|---|---|
| Terra High | 6/6 | 70.0 | $0.68 |
| Terra Medium | 6/6 | 70.0 | $0.64 |
| Terra Ultra | 5.5/6 | 62.1 | $3.51 |
| Luna Max | 5/6 | 54.2 | $0.76 |
| Sol Medium | 5/6 | 54.2 | ~$1.1 |
| Terra Max | 5/6 | 54.2 | $1.78 |
심슨의 역설(전사 총액↑ vs 12지점 전부↓)을 명시한 Terra Medium·High만 만점. Ultra는 위임 3서브를 돌리고도 품질이 오히려 후퇴.
②-B 사이트 클로닝 (판단·재현, SSIM)
| 조합 | SSIM | 종합 | 비용 |
|---|---|---|---|
| Sol Medium | 0.949 | 95.8 | $1.67 |
| Luna Max | 0.946 | 94.0 | $1.44 |
| Terra Medium | 0.824 | — | $1.34 |
| Terra High | 0.804 | — | $1.14 |
| Terra Max | 실격 권고 | $1.51 |
Goodhart의 법칙 — Terra Max는 원본 풀스크린샷을 통짜로 삽입해 SSIM을 해킹(추론 56%를 "기준 뚫기"에 소모). 정직 클론 승자는 Sol Medium·Luna Max 무승부.
②-C 발표 슬라이드 (제작·PPT)
| 조합 | 종합 | 비용 | 점수/달러 |
|---|---|---|---|
| Terra Max | 96.5 | $3.92 | 25 |
| Sol Medium | 85.3 | $1.71 | 50 |
| Terra High | 81.7 | $1.78 | 48 |
| Luna High | 79.4 | $0.73 | 112 |
수치 모순 함정 4/4 처리. Terra Max가 브랜드 가이드를 교과서적으로 준수했지만, 가성비는 Luna High가 우위.
③-A 달 착지 시뮬레이터 (제작·물리)
| 조합 | 물리 검산 | 정성(10) | 비용 |
|---|---|---|---|
| terra-max | ✓ | 9.9 | $3.19 |
| sol-ultra | ✓ | 9.9 | $35.73 |
| sol-max | ✓ | 9.4 | $6.39 |
| sol-high | ✓ | 8.6 | $4.93 |
| luna-max | ✓ | 7.6 | $1.17 |
| sol-medium | ✓ | 7.6 | $1.46 |
6조합 전부 물리 ±5% 통과. terra-max가 sol-ultra와 동급 품질(9.9)을 1/11 비용에 냈고, Ultra는 합격 후 65분+ 무한 다듬기.
③-B 지하철 모션그래픽 (제작·데이터 자율 수집)
| 조합 | 기계채점 | 노선 수 | 비용 |
|---|---|---|---|
| luna-max | 100 | 24 | $1.38 |
| sol-high | 100 | 21 | $5.09 |
| sol-medium | 100 | 24 | $7.25 |
| terra-max | 100 | 21 | $7.35 |
| sol-max | 통과(수동) | 22 | $19.30 |
| sol-ultra | 100 | 20 | $28.12 |
데이터 미제공·자율 수집인데 6조합 전원 통과. 첫 완주는 luna-max(22분). Sol 세 조합의 높은 비용은 용량 throttle 재개로 부풀려진 값이라, 깨끗한 비용 앵커는 luna·terra 쪽입니다.
다운로드
- 지시문 전문 (봉인 프롬프트) — 7종 과제에 넣은 입력 전문. 함정 설계·자율 완주 프로토콜 포함 → 프롬프트_전문.md
- 재현 키트 (채점 코드 + 생성기 + 정답) — 테스트별 자동 채점기, 입력 데이터 생성기, 정답 키, 평가설계 문서 → reproduction-kit.zip
- 입력 데이터 — 영수증 20장, 원장·정산서 양식 엑셀, 함정 매출 CSV (전부 합성 데이터) → 입력데이터.zip
라이브로 열어 보는 결과물
각 6조합 산출물을 브라우저에서 직접 열어 비교할 수 있게 올려 뒀습니다. 클릭해서 버튼을 눌러 보세요.
- 달 착지 시뮬레이터 · 6조합 비교 — 같은 물리, 갈리는 건 비용. terra-max(걸작 $3.19) vs sol-ultra(청구서 $35.73) → 6조합 그리드 열기
- 서울 지하철 성장 모션그래픽 · 6조합 비교 — 1974→2026, 오픈데이터를 스스로 수집해 만든 15초 세로 모션 → 6조합 그리드 열기
모델·추론 추천 스킬 (codex)
매번 이 표를 외울 순 없으니, 작업을 시키면 어떤 모델·추론 레벨이 맞는지 먼저 추천해 주는 codex 스킬을 공개했습니다. 싸게 시작해 막힐 때만 승급하고, 여러분이 쓸수록 여러분 업무에 맞게 똑똑해집니다.
npx skills add dandacompany/dante-skills@gpt-model-effort-advisor -g -y --copy -a codex
새 모델이 나오면, 직접 다시 재 보세요
벤치마크를 그냥 믿지 말고, 위 지시문과 채점 코드를 새 모델에 그대로 돌려 보면 이 표가 갱신됩니다. 이건 자동화가 아니라 계속 갱신하는 습관입니다.
⚠️ 모든 영수증·엑셀·매출·시뮬레이터 데이터는 합성(가상) 데이터이며 실제 상호·인물과 무관합니다. Apple 사이트 클로닝 테스트의 원본 자산은 저작권상 배포에서 제외했습니다.
Buy me a coffee