CTS · Stage 7 · 결과 보고 v4 · 지도교수님·CTO(안수진 박사님) 전달용
G1 · DEQ 수렴·변별
사전등록 기준 충족 · 확정
신규 held-out 520 중 517 수렴, 최근접 일치 519/520, 평균 cos 0.569.
G2 1~3차 시도 (10/7~10/11)
기준 미충족 · 확정
1차 게이트 4 −4.83%p, 2차 개발 단계 중단, 3차 게이트 4 +1.20%p(p 0.097).
G2 4차 시도 (M7, 10/12)
사전등록 기준 충족
새 1,758문항 1회. 게이트 4 A−E‴ +2.33%p, 95% CI [+0.91, +3.70], p 0.000717.
GOAL의 G2 인정 여부
Principal 결정 대기
개선판(M7) 통과를 GOAL G2 통과로 볼지 CTS-431에서 정한다. 결정 전에는 "M7의 G2 기준 충족"으로 보고한다.
CTS는 언어모델이 문제를 읽고 만든 잠재 상태를 같은 규칙으로 1,000번 반복해 고정점 z*를 얻는 구조(DEQ)를 검증한다. 두 가지를 묻는다. G1은 "z*가 안정적으로 수렴하고 문항마다 다른가"이고, G2는 "z*를 디코더에 넣으면 수학 문제를 더 잘 푸는가, 그 이득이 반복 전 잠재 z_src보다 큰가"이다. 모든 판정 기준은 결과를 보기 전에 사전등록하고 SHA-256으로 잠갔으며, 독립 감사자 B가 감사했다.
G1은 10/7에 확정됐다. G2는 1~3차 시도에서 모두 게이트 4(DEQ 귀속)를 넘지 못했다. 10/11 진단에서 근본 원인을 찾았다. 잠재를 언어모델에 넣는 투영기가 실제 단어 임베딩보다 25~40배 큰, 모든 문항에 같은 상수 벡터를 넣어 문항 정보가 2~4%로 묻혔다. 그래서 1~3차의 모든 디코더는 잠재를 "고정 soft prompt"로만 썼다(자기 잠재 = 남의 잠재 = 평균 잠재의 NLL).
이 결함을 고친 연결부(PrefixProjectorV2)와 더 강하게 학습한 DEQ 사상으로 4차 방법 M7을 만들었다. 새 사전등록 PREREG_S7_G2v4를 B 감사 3회 뒤 잠그고, 이 프로젝트에서 한 번도 쓰지 않은 1,758문항으로 한 번 평가했다. 결과는 사전등록 기준 충족이다. 게이트 2·3은 A−C +8.08%p(142/0), 게이트 4는 A−E‴ +2.33%p(100/59, 정확 McNemar 단측 p 0.000717, 95% CI [+0.91, +3.70])이다. 4회 시도를 감안한 참고값 p×4 = 0.0029로도 기준 아래다.
해석의 한계도 함께 적는다. (1) A만 받은 보조 손실(λ_ift 0.1)과 DEQ 시작점의 효과를 가를 수 없다. (2) 보조 게이트 A−B1(다른 문항의 잠재)은 +0.46%p, p 0.26으로 유의하지 않다. 이득이 문항별 잠재 내용에서 왔다는 증거는 정확도 수준에서 아직 없다. (3) A 입력은 GOAL의 "정본 z*"가 아니라 M2′ 고정점에 학습된 한 걸음을 더한 것이다.
| 목표 | 진행률 | 상태 |
|---|---|---|
| G1 DEQ 수렴·변별 | 100% · 확정(10/7) | |
| G2 1차 (P6R) | 100% · 기준 미충족(확정) | |
| G2 2차 (M2′) | 100% · 개발 선택 규칙에서 중단(확증 없음) | |
| G2 3차 (M3) | 100% · 기준 미충족(확정) | |
| G2 4차 (M7) | 100% · 사전등록 기준 충족(10/12 05:48) | |
| GOAL G2 인정 | Principal 결정 대기(CTS-431) |
| 목표 | 기준 | 사전등록 · SHA-256 |
|---|---|---|
| G1 | 신규 520 수렴 ≥90%, 문항 간 평균 cos ≤0.75, 최근접 일치 ≥99%, 앵커 재현 | PREREG_S7_DEQ_v1.3/1.4 · 254beb6f… · 04112522… |
| G2 (공통) | 게이트 2(A−C ≥ −2%p) ∧ 게이트 3(A−C: 정확 McNemar 단측 p<0.025 ∧ 부트스트랩 95% 하한>0) ∧ 게이트 4(A−E: 같은 기준), strict 채점. 게이트 1(A−B1)은 보조 | shared/GOAL.md |
| G2 1차 | 위 기준, held-out 600 | PREREG_S7_D_v3_8 · 58b4a7f3… |
| G2 2차 | 개발 선택 규칙(A′−E′ > 0 ∧ A′−C > 0) → 새 1,000 | PREREG_S7_G2v2 · 4ea1d966… |
| G2 3차 | 개발 선택 규칙 → 새 1,000, p×3 참고 | PREREG_S7_G2v3_1 · 3d1a6ee0… |
| G2 4차 | 새 1,758 한 번, 판정 키 gates.Gate_{2,3,4}.strict, p×4 참고 | PREREG_S7_G2v4 · 5923fef7… |
채점기 scripts/s5_eval_grader_v2.py(90cc93e4…), 채점 스크립트 s7_eval_score_p6_v36.py(547e1d91…), 부트스트랩 10,000회·시드 2026은 모든 시도에서 같다.
| 항목 | 값 | 기준 | 판정 |
|---|---|---|---|
| ①-b 확증 · 신규 520 수렴 | 517/520 (99.4%) | ≥90% | 충족 |
| ①-b 보조 · 600 | 596/600 | ≥90% | 충족 |
| ①-a 보조 · train 1,000 | 991/1000 | ≥95% | 충족 |
| 문항 간 평균 cos | 0.569 | ≤0.75 | 충족 |
| 최근접 일치율 | 519/520 | ≥515 | 충족 |
| 앵커 재현 | 20/20 cos≥0.99999997 | cos≥0.9999 | 충족 |
G1은 사전등록한 최저점 규칙으로 충족했다(1,000번째 최종점 기준 456/520). G1 충족은 "고정점이 안정되고 문항마다 다르다"까지만 뜻한다.
| 시도 | 방법 | 문항 | A | E | C | 게이트 4 (A−E) | 판정 |
|---|---|---|---|---|---|---|---|
| 1차 P6R | 정본 z* + v3.6 투영기 | 600 | 1.67% | 6.50% | 0.33% | −4.83%p, 7/36 | 미충족 |
| 2차 M2′ | 주입 = z_src | 개발 600 | 7.50% | 7.83% | 0.33% | −0.33%p | 개발 중단 |
| 3차 M3 | DEQ 사상 + 디코더 공동 학습 | 새 1,000 | 6.50% | 5.30% | 0.10% | +1.20%p, 42/30, p 0.0973 | 미충족 |
| 4차 M7 | V2 연결부 + Φ_θ 강학습 + 글 가리기 | 새 1,758 | 8.08% | 5.75% | 0.00% | +2.33%p, 100/59, p 0.000717 | 충족 |
정확도는 strict(\boxed{} 정답) 기준이다. 1·3·4차의 게이트 2·3은 모두 충족했다(1차 A−C +1.33%p p 0.0193, 3차 +6.40%p, 4차 +8.08%p).
진단은 이미 열람한 개발 600과 학습 문항만 썼다. 새 문항은 열지 않았다. 지표는 정답 해설의 teacher-forced 평균 NLL이다. 전문: shared/reports/DIAG-G2v4-rootcause-20261011.md.
| 디코더 | 자기 잠재 | 다음 문항 잠재 | 평균 잠재(상수) |
|---|---|---|---|
| 3차 A | 0.8782 | 0.8777 | 0.8767 |
| 3차 E‴ | 0.8933 | 0.8941 | 0.8933 |
글을 가리고 학습(M4), 처음부터 글 없이 학습(용량 파일럿), 언어모델에 LoRA를 붙여도 같았다. 학습 문항에서도 같았다. 데이터 짝짓기는 정상이었다(정본 로더 재계산 cos 1.0, 검색 20/20).
| 단계 | 문항 고유 에너지 비율 | 칸당 norm |
|---|---|---|
| 입력 z_src | 0.576 | 288.7 |
3차 E 디코더 · w_proj 뒤 | 0.101 | 141 |
| 3차 E 디코더 · 어댑터 뒤(LM 입력) | 0.027 | 1,258 |
| 참고: 실제 단어 임베딩 | — | 50.5 |
64칸 자리는 LM이 읽을 수 있다. 글 없이 그 자리에 자기 문제의 단어 임베딩을 넣으면 NLL 2.711 → 2.376, 다른 문제는 2.633.
| 구성 | 내용 |
|---|---|
| 고정점 | M2′(주입 = z_src, α = g₀ = 0.25, 1,000번 반복)로 학습 전 사상 Φ₀에서 계산한 z*′₀ |
| 학습된 한 걸음 | T_θ(z) = (1−α)z + α[Φ_θ(z) + g₀·z_src], Φ_θ = LoRA r8 q·v·o + routing_proj + γ |
| 연결부 | PrefixProjectorV2: 학습 시작 잠재의 칸별 평균을 빼고 RMS 정규화 → w_proj(항등 초기화) → MLP 어댑터 → RMS 정규화 × 실제 단어 RMS(0.9981) |
| 학습 | 3,000단계, 배치 4, 학습 993문항, lr 투영기 1e-4·어댑터 3e-4·DEQ 3e-4, 글 가리기 0.5, 시드 2047. λ_ift A 0.1 · E 0. A·E 모두 993/993, 가리기 6,061회로 같음 |
| 조건 | A = decoder_M7A + T_θ,A(z*′₀) · E‴ = decoder_M7E + T_θ,E(z_src) · C = 순정 Gemma 글만 · B1 = A 디코더 + 한 칸 민 A 잠재 |
| 조건 | strict | lenient |
|---|---|---|
| A · M2′ 고정점 → 학습된 한 걸음 + V2 | 8.08% | 12.91% |
| B1 · A 디코더 + 다른 문항 A 잠재 (보조) | 7.62% | 12.86% |
| E‴ · z_src → 학습된 한 걸음 + V2 | 5.75% | 11.60% |
| C · 순정 Gemma, 글만 | 0.00% | 8.02% |
| 게이트 | 비교 | Δ | 95% CI | b/c | p | p×4 | 결과 |
|---|---|---|---|---|---|---|---|
| 2 바닥선 | A − C ≥ −2%p | +8.08%p | [+6.83, +9.33] | 142/0 | — | — | 충족 |
| 3 기여 | A − C | +8.08%p | [+6.83, +9.33] | 142/0 | <1e-6 | <4e-6 | 충족 |
| 4 DEQ 귀속 | A − E‴ | +2.33%p | [+0.91, +3.70] | 100/59 | 0.000717 | 0.0029 | 충족 |
| 1 보조 | A − B1 | +0.46%p | [−0.80, +1.65] | 64/56 | 0.2615 | — | 유의하지 않음 |
원자료 shared/reports/g2v4fresh/gate_table.json(ea120d95…). CC가 b = 100, c = 59의 정확 이항 단측 p를 따로 계산해 0.000717로 일치를 확인했다. 판정 문서 shared/reports/RESULT-G2v4-confirm.md. 보고 항목(판정 미사용): 한 걸음 상대 이동 중앙값 A 0.1266 · E 0.1058.
/tmp/cts_g2v4_shoon(권한 700)에 썼다.| 감사 | 대상 | 결과 |
|---|---|---|
| AUDIT-P011 | PREREG_S7_D_v3_8 (1차) | FIX 12 → 3 → PASS |
| AUDIT-P012 | PREREG_S7_G2v2 (2차) | FIX 13 → 5 → 4 → PASS. 새 문항 목록과 겹치는 서버 파일 35개 발견 → 보수 제외 |
| AUDIT-P013 | PREREG_S7_G2v3 (3차, 사후 감사) | AG가 감사 없이 잠금 → CC가 확증을 멈춤. FIX 8 → 4 → PASS. 개발 A 80문항이 옛 z*를 받은 키 결함을 찾아 다시 함 |
| AUDIT-P014 | PREREG_S7_G2v4 (4차) | FIX 5(원시 근거·Ez 공개·공정성·GOAL·스크립트 가드) → 재FIX 2 → PASS. 재개 1 사전 확인 "실행 가능" |
새 문항 1,758의 사용 흔적은 서버의 .jsonl 72개 id와 .pt 374개 키를 모두 대조해 0건이었다. 같은 검사기로 3차 사용 목록을 검사하면 23개 파일에서 적중해, 검사기가 실제로 흔적을 잡는다는 것도 확인했다.
| 항목 | 내용 | 결정 주체 |
|---|---|---|
| CTS-431 | 개선판(M7) 통과를 GOAL의 G2 통과로 인정할지 | Principal |
| ESC-0009 | 서버 /home 100%(3.6T 중 shoon 892G, 다른 사용자 1.3T, 권한 밖 약 1.2T). 재현용 텐서가 휘발성 /tmp에 있음 | Principal·서버 관리자 |
| ESC-0007 | GPU 2 하드웨어 오류, GPU 0/1/3 감속 | Principal |
| 권고 후속 | λ_ift 대칭 재현(A·E 같은 보조 손실), 다중 시드, 정본 로더 통일, 문항 내용 기여(A−B1) 강화. 새 데이터 출처가 필요하다(현 5,000문항 풀은 미열람 문항이 남지 않음) | Principal 승인 후 CC |
| 파일 | SHA-256 |
|---|---|
shared/prereg/PREREG_S7_G2v4.md (잠금본) | 5923fef7e82afdd74b7c471e6f98da4d724ef9d04c20e782b1227fe1d7c5a2ce |
PREREG_S7_G2v4 rev3 (B PASS 대상) | 82f969788cf59d95aee06ee854a294599b273e2702fc1fcd6d10eb542ed01d80 |
PREREG_S7_G2v3_1.md (3차) | 3d1a6ee0292b58fcab514ec2b71588dc78a277f6c464e61739ebb4ac96573daa |
PREREG_S7_G2v2.md (2차) | 4ea1d9663c3a029a382bd503a9628992b600992160cfbf3aef61d0b66d726e85 |
PREREG_S7_D_v3_8.md (1차) | 58b4a7f35249769716dca6316ab84cdc22d6259c88bd94a385a60f8a3c9bcd8b |
| 감사 파일 | shared/audits/AUDIT-P011~P014_*.md |
| 파일 | SHA-256 |
|---|---|
results_s7/g2v2/decoder_M7A_v36.pt | 46977c2db533888dc13a8defe21ac287b26bd7ff1e08bb83eb22a4ca4bb99670 |
results_s7/g2v2/decoder_M7E_v36.pt | d0c33599c9586d3ed131877a2439ee09d5d48804a0408965daaa0238705afd5a |
results_s7/g2v4m7rep/deq_Ah.pt | b43de6b0eeb0a16a5f04762ac9c6a95979e504bc48f8b52249213490d6485cf7 |
results_s7/g2v4m7rep/deq_Eh.pt | 7e9dc5feb1e563996e90cc825c3567e54caadb86f5a9a25ce03435df37be9788 |
scripts/g2v4_m4_pilot_train.py (학습) | f492da0f1c35a3088397d2fec1748e9b56ed82bc3b371fe33cc0846706092ab0 |
scripts/g2v4_proj_v2.py (V2 연결부) | 7cabcef2e13bb524a6815add5198853f21e8437fd04d018a6cef2227161df47a |
scripts/s7_eval_gate_p6_v36f.py (생성) | fd6c2d03e3ed18d1597950edc79a01af8331d192c9f84b821a5b5bcf3f71cfe1 |
scripts/g2v3_m3_eval_latents_v2.py (한 걸음 잠재) | 73db9dafd33e49e963d48aad4797c6b0eb7856e5e8e847fbb3b8dc0e5109921b |
scripts/cc_g2v4_confirm.sh (확증 실행본) | d74fd9a96dc246028c09adc31adc736c672d5dc7ec50b6c0533965af261ca9bb |
cc_g2v4_confirm_resume1.sh (재개 1 최종) | 9c905cef5e5410fa9c1feb951f62afb363b4a5633140b603cfb709c636ec4f87 |
g2v4_fresh_prep_r1.py · g2v4_proximity_r1.py | e8876570b4f20360f8e40a286ad73fff28531d983e35cae24c30df0e34ed133f · 0d602101af358fdb0cfe873032e972b686a297b0b3a2c82df7e0dea0d904f0e8 |
| 채점기 · 채점 스크립트 | 90cc93e4b76704b209291ac43999a3f829ac79f7234c60362f95bccadd12fa13 · 547e1d91aa998908a0c436198f9890be961f18d643efec2c43dd700d415587cd |
| 파일 | SHA-256 |
|---|---|
configs/g2v4b_fresh.json (4차 1,758, 사용 완료) | 6e68e34c510593fb017d7dab5296c60ac506ce28d1ddeb3701231a69f696ce80 |
| 샤드 0 · 1 · 2 | f8f305a1… · c5a3ce59… · 63935a09… |
configs/g2v2_fresh1000.json (3차 1,000, 사용 완료) | 35683874284b371c6641e1280b92e6a69292a2dc5d89585158154a45b41cb3db |
configs/s7_train_993.json (학습) | 3088a153f1d7ffabf77423a9354cd97795b9dae2daa7f429255bacfd4293784c |
results_s7/p6_item_order.json (개발 600) | 6c76ddb7cc4a1ee901291eee76ed99763ec5ebfec202cb30ba17f9bcee487e7c |
| 파일 | SHA-256 |
|---|---|
g2v4fresh_merged/gate_table.json | ea120d95bebf842e08b74a65b43178466ab7149aa5b10a687ab0d5bff37930a4 |
p6_gen_A.jsonl | e2edee7395421bdec447f7a6c75f27ef88f5dc230bbd2736ac87d2f22638ed66 |
p6_gen_B1.jsonl | 3fdab13810e24da6b5353ef235588c9aa9c5b3ff177448cbfb7ee0a5009873a8 |
p6_gen_C.jsonl | 1b130c2ece04c37021a9191e567773e82875ef49f8f1dbeab833b26520147372 |
p6_gen_E1.jsonl | d16f4bb557522baf988a9a1cd77ec3db3b1a6dcda2d661986995efc7ce8db5b0 |
raw_s7/g2v4_fresh_score.log | 2b11f68b390243d26aff27f7c409b08c03bde8f46f59be5f8e42b2c9bc44a8d8 |
개발 600 채점 dev_score.json | e890c3c2d6fcf5981a195b785925ae7e3963f700809b9bfa0b66411b83e4f695 |
3차 gate_table.json | 71f6bc260318b16b2a65799d75650c5080c41e19ba9f3842ee37f6f6c4763b73 |
| 내용 | 위치 (로컬 D:\AI\cts\ 기준) |
|---|---|
| 4차 판정 문서 | shared/reports/RESULT-G2v4-confirm.md |
| 4차 채점표·채점 로그·마스터 로그(원본·재개) | shared/reports/g2v4fresh/ (gate_table.json·md, g2v4_fresh_score.log, cc_g2v4_confirm_master.log 3507a21e…, cts_g2v4_resume1_master.log e04f01ba…) |
| 근본 원인 진단 전문과 원자료 | shared/reports/DIAG-G2v4-rootcause-20261011.md, g2v4diag/, g2v4v2/, g2v4deqlr/, g2v4m7rep/, g2v4posctl/ |
| 개발 600 정확도 | shared/reports/g2v4dev/ (dev_score.json·md, cc_g2v4_dev_m7.log) |
| 새 문항 선택·id 검사·잠금 증거 | scratch/cc_g2v4_select_outputs.txt, cc_g2v4_evidence.txt, cc_g2v4_idscan_posctl.txt, cc_g2v4_lock_evidence.txt |
| 근접도 보고 | scratch/cc_g2v4_proximity.txt |
| 3차 결과 | shared/reports/RESULT-G2v3-confirm.md, g2v3fresh/ |
| 1·2차 결과 | RESULT-P6R-G2-main.md, RESULT-G2v2-dev.md, DIAG-P6R-local-20261008.md |
| 진행 기록·가설·접속 기록 | shared/STATE.md, shared/GRAPH.md(H-DEC-7 채택), shared/ssh_log.csv |
| 핵심 결과 백업 요약 | shared/reports/BACKUP_SUMMARY_20261011.md |
| 서버 쪽 원본 | /home/shoon/cts_e1_s5/results_s7/p6r/g2v4fresh_merged/, raw_s7/g2v4_*, 재현용 텐서 /tmp/cts_g2v4_shoon/(휘발성) |