CTS 프로젝트 진행 보고서

CTS · Stage 7 · 결과 보고 v4 · 지도교수님·CTO(안수진 박사님) 전달용

CTS 프로젝트 진행 보고서 — DEQ 고정점의 수렴·변별(G1)과 디코더 기여(G2)

기준 시각2026-10-12 06:xx KST (G2 4차 확증 결과 반영)작성회사 PC Claude Code(CC, 설계·실행·감사 요청)독립 감사B서버/home/shoon/cts_e1_s5 (RTX A6000 ×8, 4차는 GPU 5·6·7)이전 판v3 (10/8 17:3x) 백업 보존

G1 · DEQ 수렴·변별

사전등록 기준 충족 · 확정

신규 held-out 520 중 517 수렴, 최근접 일치 519/520, 평균 cos 0.569.

G2 1~3차 시도 (10/7~10/11)

기준 미충족 · 확정

1차 게이트 4 −4.83%p, 2차 개발 단계 중단, 3차 게이트 4 +1.20%p(p 0.097).

G2 4차 시도 (M7, 10/12)

사전등록 기준 충족

새 1,758문항 1회. 게이트 4 A−E‴ +2.33%p, 95% CI [+0.91, +3.70], p 0.000717.

GOAL의 G2 인정 여부

Principal 결정 대기

개선판(M7) 통과를 GOAL G2 통과로 볼지 CTS-431에서 정한다. 결정 전에는 "M7의 G2 기준 충족"으로 보고한다.

1. 요약

CTS는 언어모델이 문제를 읽고 만든 잠재 상태를 같은 규칙으로 1,000번 반복해 고정점 z*를 얻는 구조(DEQ)를 검증한다. 두 가지를 묻는다. G1은 "z*가 안정적으로 수렴하고 문항마다 다른가"이고, G2는 "z*를 디코더에 넣으면 수학 문제를 더 잘 푸는가, 그 이득이 반복 전 잠재 z_src보다 큰가"이다. 모든 판정 기준은 결과를 보기 전에 사전등록하고 SHA-256으로 잠갔으며, 독립 감사자 B가 감사했다.

G1은 10/7에 확정됐다. G2는 1~3차 시도에서 모두 게이트 4(DEQ 귀속)를 넘지 못했다. 10/11 진단에서 근본 원인을 찾았다. 잠재를 언어모델에 넣는 투영기가 실제 단어 임베딩보다 25~40배 큰, 모든 문항에 같은 상수 벡터를 넣어 문항 정보가 2~4%로 묻혔다. 그래서 1~3차의 모든 디코더는 잠재를 "고정 soft prompt"로만 썼다(자기 잠재 = 남의 잠재 = 평균 잠재의 NLL).

이 결함을 고친 연결부(PrefixProjectorV2)와 더 강하게 학습한 DEQ 사상으로 4차 방법 M7을 만들었다. 새 사전등록 PREREG_S7_G2v4를 B 감사 3회 뒤 잠그고, 이 프로젝트에서 한 번도 쓰지 않은 1,758문항으로 한 번 평가했다. 결과는 사전등록 기준 충족이다. 게이트 2·3은 A−C +8.08%p(142/0), 게이트 4는 A−E‴ +2.33%p(100/59, 정확 McNemar 단측 p 0.000717, 95% CI [+0.91, +3.70])이다. 4회 시도를 감안한 참고값 p×4 = 0.0029로도 기준 아래다.

해석의 한계도 함께 적는다. (1) A만 받은 보조 손실(λ_ift 0.1)과 DEQ 시작점의 효과를 가를 수 없다. (2) 보조 게이트 A−B1(다른 문항의 잠재)은 +0.46%p, p 0.26으로 유의하지 않다. 이득이 문항별 잠재 내용에서 왔다는 증거는 정확도 수준에서 아직 없다. (3) A 입력은 GOAL의 "정본 z*"가 아니라 M2′ 고정점에 학습된 한 걸음을 더한 것이다.

2. 진행률과 일정

목표진행률상태
G1 DEQ 수렴·변별
100% · 확정(10/7)
G2 1차 (P6R)
100% · 기준 미충족(확정)
G2 2차 (M2′)
100% · 개발 선택 규칙에서 중단(확증 없음)
G2 3차 (M3)
100% · 기준 미충족(확정)
G2 4차 (M7)
100% · 사전등록 기준 충족(10/12 05:48)
GOAL G2 인정
Principal 결정 대기(CTS-431)

경과

3. 판정 기준 (결과 보기 전에 잠금)

목표기준사전등록 · SHA-256
G1신규 520 수렴 ≥90%, 문항 간 평균 cos ≤0.75, 최근접 일치 ≥99%, 앵커 재현PREREG_S7_DEQ_v1.3/1.4 · 254beb6f… · 04112522…
G2 (공통)게이트 2(A−C ≥ −2%p) ∧ 게이트 3(A−C: 정확 McNemar 단측 p<0.025 ∧ 부트스트랩 95% 하한>0) ∧ 게이트 4(A−E: 같은 기준), strict 채점. 게이트 1(A−B1)은 보조shared/GOAL.md
G2 1차위 기준, held-out 600PREREG_S7_D_v3_8 · 58b4a7f3…
G2 2차개발 선택 규칙(A′−E′ > 0 ∧ A′−C > 0) → 새 1,000PREREG_S7_G2v2 · 4ea1d966…
G2 3차개발 선택 규칙 → 새 1,000, p×3 참고PREREG_S7_G2v3_1 · 3d1a6ee0…
G2 4차새 1,758 한 번, 판정 키 gates.Gate_{2,3,4}.strict, p×4 참고PREREG_S7_G2v4 · 5923fef7…

채점기 scripts/s5_eval_grader_v2.py(90cc93e4…), 채점 스크립트 s7_eval_score_p6_v36.py(547e1d91…), 부트스트랩 10,000회·시드 2026은 모든 시도에서 같다.

4. G1 결과 — DEQ 수렴·변별 (확정)

항목값기준판정
①-b 확증 · 신규 520 수렴517/520 (99.4%)≥90%충족
①-b 보조 · 600596/600≥90%충족
①-a 보조 · train 1,000991/1000≥95%충족
문항 간 평균 cos0.569≤0.75충족
최근접 일치율519/520≥515충족
앵커 재현20/20 cos≥0.99999997cos≥0.9999충족

G1은 사전등록한 최저점 규칙으로 충족했다(1,000번째 최종점 기준 456/520). G1 충족은 "고정점이 안정되고 문항마다 다르다"까지만 뜻한다.

5. G2 시도별 결과

시도방법문항AEC게이트 4 (A−E)판정
1차 P6R정본 z* + v3.6 투영기6001.67%6.50%0.33%−4.83%p, 7/36미충족
2차 M2′주입 = z_src개발 6007.50%7.83%0.33%−0.33%p개발 중단
3차 M3DEQ 사상 + 디코더 공동 학습새 1,0006.50%5.30%0.10%+1.20%p, 42/30, p 0.0973미충족
4차 M7V2 연결부 + Φ_θ 강학습 + 글 가리기새 1,7588.08%5.75%0.00%+2.33%p, 100/59, p 0.000717충족

정확도는 strict(\boxed{} 정답) 기준이다. 1·3·4차의 게이트 2·3은 모두 충족했다(1차 A−C +1.33%p p 0.0193, 3차 +6.40%p, 4차 +8.08%p).

6. 근본 원인 진단 (10/11, 개발 600만 사용)

진단은 이미 열람한 개발 600과 학습 문항만 썼다. 새 문항은 열지 않았다. 지표는 정답 해설의 teacher-forced 평균 NLL이다. 전문: shared/reports/DIAG-G2v4-rootcause-20261011.md.

6-1. 디코더는 잠재의 문항 내용을 쓰지 않았다

디코더자기 잠재다음 문항 잠재평균 잠재(상수)
3차 A0.87820.87770.8767
3차 E‴0.89330.89410.8933

글을 가리고 학습(M4), 처음부터 글 없이 학습(용량 파일럿), 언어모델에 LoRA를 붙여도 같았다. 학습 문항에서도 같았다. 데이터 짝짓기는 정상이었다(정본 로더 재계산 cos 1.0, 검색 20/20).

6-2. 원인: 투영기 출력의 크기와 상수 지배

단계문항 고유 에너지 비율칸당 norm
입력 z_src0.576288.7
3차 E 디코더 · w_proj 뒤0.101141
3차 E 디코더 · 어댑터 뒤(LM 입력)0.0271,258
참고: 실제 단어 임베딩—50.5

64칸 자리는 LM이 읽을 수 있다. 글 없이 그 자리에 자기 문제의 단어 임베딩을 넣으면 NLL 2.711 → 2.376, 다른 문제는 2.633.

6-3. 잠재 내용과 해결 실마리

7. 4차 방법 M7

구성내용
고정점M2′(주입 = z_src, α = g₀ = 0.25, 1,000번 반복)로 학습 전 사상 Φ₀에서 계산한 z*′₀
학습된 한 걸음T_θ(z) = (1−α)z + α[Φ_θ(z) + g₀·z_src], Φ_θ = LoRA r8 q·v·o + routing_proj + γ
연결부PrefixProjectorV2: 학습 시작 잠재의 칸별 평균을 빼고 RMS 정규화 → w_proj(항등 초기화) → MLP 어댑터 → RMS 정규화 × 실제 단어 RMS(0.9981)
학습3,000단계, 배치 4, 학습 993문항, lr 투영기 1e-4·어댑터 3e-4·DEQ 3e-4, 글 가리기 0.5, 시드 2047. λ_ift A 0.1 · E 0. A·E 모두 993/993, 가리기 6,061회로 같음
조건A = decoder_M7A + T_θ,A(z*′₀) · E‴ = decoder_M7E + T_θ,E(z_src) · C = 순정 Gemma 글만 · B1 = A 디코더 + 한 칸 민 A 잠재

8. 4차 확증 결과 (새 1,758문항, 1회)

조건strictlenient
A · M2′ 고정점 → 학습된 한 걸음 + V28.08%12.91%
B1 · A 디코더 + 다른 문항 A 잠재 (보조)7.62%12.86%
E‴ · z_src → 학습된 한 걸음 + V25.75%11.60%
C · 순정 Gemma, 글만0.00%8.02%
게이트비교Δ95% CIb/cpp×4결과
2 바닥선A − C ≥ −2%p+8.08%p[+6.83, +9.33]142/0——충족
3 기여A − C+8.08%p[+6.83, +9.33]142/0<1e-6<4e-6충족
4 DEQ 귀속A − E‴+2.33%p[+0.91, +3.70]100/590.0007170.0029충족
1 보조A − B1+0.46%p[−0.80, +1.65]64/560.2615—유의하지 않음

원자료 shared/reports/g2v4fresh/gate_table.json(ea120d95…). CC가 b = 100, c = 59의 정확 이항 단측 p를 따로 계산해 0.000717로 일치를 확인했다. 판정 문서 shared/reports/RESULT-G2v4-confirm.md. 보고 항목(판정 미사용): 한 걸음 상대 이동 중앙값 A 0.1266 · E 0.1058.

9. 실행 경과와 사고 처리

10. 품질 관리 — 감사 이력

감사대상결과
AUDIT-P011PREREG_S7_D_v3_8 (1차)FIX 12 → 3 → PASS
AUDIT-P012PREREG_S7_G2v2 (2차)FIX 13 → 5 → 4 → PASS. 새 문항 목록과 겹치는 서버 파일 35개 발견 → 보수 제외
AUDIT-P013PREREG_S7_G2v3 (3차, 사후 감사)AG가 감사 없이 잠금 → CC가 확증을 멈춤. FIX 8 → 4 → PASS. 개발 A 80문항이 옛 z*를 받은 키 결함을 찾아 다시 함
AUDIT-P014PREREG_S7_G2v4 (4차)FIX 5(원시 근거·Ez 공개·공정성·GOAL·스크립트 가드) → 재FIX 2 → PASS. 재개 1 사전 확인 "실행 가능"

새 문항 1,758의 사용 흔적은 서버의 .jsonl 72개 id와 .pt 374개 키를 모두 대조해 0건이었다. 같은 검사기로 3차 사용 목록을 검사하면 23개 파일에서 적중해, 검사기가 실제로 흔적을 잡는다는 것도 확인했다.

11. 한계와 해석

  1. λ_ift 혼입. 게이트 4는 "DEQ 시작점 때문"과 "A만 받은 IFT 보조 손실 때문"을 가를 수 없다. 개발 진단에서 같은 A 디코더에 입력만 T_θ,A(z_src)로 바꾸면 NLL 차이가 0.0011뿐이었다. A−E 차이의 대부분은 학습 경로에서 온다.
  2. 문항 내용 기여 미확인. 보조 게이트 A−B1 +0.46%p(p 0.26). 정확도 수준에서는 다른 문항의 A 잠재로도 비슷하게 맞힌다.
  3. GOAL 표현과의 차이. A 입력은 GOAL의 "정본 z*"가 아니다(z*′₀에서 중앙값 12.7% 이동). 평가도 GOAL의 "held-out 600"이 아니라 새 1,758문항이다.
  4. 다중 시도. 4차 시도다. p×4 = 0.0029.
  5. 설계 선택. M7 설정은 개발 600의 NLL 진단을 여러 번 보고 골랐다(선택 편향 가능). 정확도는 개발에서 한 번만 봤고, 판정은 새 문항으로만 했다.
  6. 단일 시드·로더. A·E 디코더는 시드 하나다. 고정점은 정본 로더로, 학습된 한 걸음은 학습 스크립트의 로더로 계산했다(같은 문항 z_src cos 0.70~0.91, A·E 동일 조건).
  7. 절대 정확도. 가장 높은 A도 strict 8.08%다. 이 평가는 상대 비교(게이트)를 위한 것이며 실용 수준의 성능 주장이 아니다.

12. 결정 요청과 다음 단계

항목내용결정 주체
CTS-431개선판(M7) 통과를 GOAL의 G2 통과로 인정할지Principal
ESC-0009서버 /home 100%(3.6T 중 shoon 892G, 다른 사용자 1.3T, 권한 밖 약 1.2T). 재현용 텐서가 휘발성 /tmp에 있음Principal·서버 관리자
ESC-0007GPU 2 하드웨어 오류, GPU 0/1/3 감속Principal
권고 후속λ_ift 대칭 재현(A·E 같은 보조 손실), 다중 시드, 정본 로더 통일, 문항 내용 기여(A−B1) 강화. 새 데이터 출처가 필요하다(현 5,000문항 풀은 미열람 문항이 남지 않음)Principal 승인 후 CC

부록 A. 검증 파일과 SHA-256

A-1. 사전등록·감사

파일SHA-256
shared/prereg/PREREG_S7_G2v4.md (잠금본)5923fef7e82afdd74b7c471e6f98da4d724ef9d04c20e782b1227fe1d7c5a2ce
PREREG_S7_G2v4 rev3 (B PASS 대상)82f969788cf59d95aee06ee854a294599b273e2702fc1fcd6d10eb542ed01d80
PREREG_S7_G2v3_1.md (3차)3d1a6ee0292b58fcab514ec2b71588dc78a277f6c464e61739ebb4ac96573daa
PREREG_S7_G2v2.md (2차)4ea1d9663c3a029a382bd503a9628992b600992160cfbf3aef61d0b66d726e85
PREREG_S7_D_v3_8.md (1차)58b4a7f35249769716dca6316ab84cdc22d6259c88bd94a385a60f8a3c9bcd8b
감사 파일shared/audits/AUDIT-P011~P014_*.md

A-2. 4차 체크포인트·스크립트 (서버)

파일SHA-256
results_s7/g2v2/decoder_M7A_v36.pt46977c2db533888dc13a8defe21ac287b26bd7ff1e08bb83eb22a4ca4bb99670
results_s7/g2v2/decoder_M7E_v36.ptd0c33599c9586d3ed131877a2439ee09d5d48804a0408965daaa0238705afd5a
results_s7/g2v4m7rep/deq_Ah.ptb43de6b0eeb0a16a5f04762ac9c6a95979e504bc48f8b52249213490d6485cf7
results_s7/g2v4m7rep/deq_Eh.pt7e9dc5feb1e563996e90cc825c3567e54caadb86f5a9a25ce03435df37be9788
scripts/g2v4_m4_pilot_train.py (학습)f492da0f1c35a3088397d2fec1748e9b56ed82bc3b371fe33cc0846706092ab0
scripts/g2v4_proj_v2.py (V2 연결부)7cabcef2e13bb524a6815add5198853f21e8437fd04d018a6cef2227161df47a
scripts/s7_eval_gate_p6_v36f.py (생성)fd6c2d03e3ed18d1597950edc79a01af8331d192c9f84b821a5b5bcf3f71cfe1
scripts/g2v3_m3_eval_latents_v2.py (한 걸음 잠재)73db9dafd33e49e963d48aad4797c6b0eb7856e5e8e847fbb3b8dc0e5109921b
scripts/cc_g2v4_confirm.sh (확증 실행본)d74fd9a96dc246028c09adc31adc736c672d5dc7ec50b6c0533965af261ca9bb
cc_g2v4_confirm_resume1.sh (재개 1 최종)9c905cef5e5410fa9c1feb951f62afb363b4a5633140b603cfb709c636ec4f87
g2v4_fresh_prep_r1.py · g2v4_proximity_r1.pye8876570b4f20360f8e40a286ad73fff28531d983e35cae24c30df0e34ed133f · 0d602101af358fdb0cfe873032e972b686a297b0b3a2c82df7e0dea0d904f0e8
채점기 · 채점 스크립트90cc93e4b76704b209291ac43999a3f829ac79f7234c60362f95bccadd12fa13 · 547e1d91aa998908a0c436198f9890be961f18d643efec2c43dd700d415587cd

A-3. 문항 목록

파일SHA-256
configs/g2v4b_fresh.json (4차 1,758, 사용 완료)6e68e34c510593fb017d7dab5296c60ac506ce28d1ddeb3701231a69f696ce80
샤드 0 · 1 · 2f8f305a1… · c5a3ce59… · 63935a09…
configs/g2v2_fresh1000.json (3차 1,000, 사용 완료)35683874284b371c6641e1280b92e6a69292a2dc5d89585158154a45b41cb3db
configs/s7_train_993.json (학습)3088a153f1d7ffabf77423a9354cd97795b9dae2daa7f429255bacfd4293784c
results_s7/p6_item_order.json (개발 600)6c76ddb7cc4a1ee901291eee76ed99763ec5ebfec202cb30ba17f9bcee487e7c

A-4. 4차 결과물

파일SHA-256
g2v4fresh_merged/gate_table.jsonea120d95bebf842e08b74a65b43178466ab7149aa5b10a687ab0d5bff37930a4
p6_gen_A.jsonle2edee7395421bdec447f7a6c75f27ef88f5dc230bbd2736ac87d2f22638ed66
p6_gen_B1.jsonl3fdab13810e24da6b5353ef235588c9aa9c5b3ff177448cbfb7ee0a5009873a8
p6_gen_C.jsonl1b130c2ece04c37021a9191e567773e82875ef49f8f1dbeab833b26520147372
p6_gen_E1.jsonld16f4bb557522baf988a9a1cd77ec3db3b1a6dcda2d661986995efc7ce8db5b0
raw_s7/g2v4_fresh_score.log2b11f68b390243d26aff27f7c409b08c03bde8f46f59be5f8e42b2c9bc44a8d8
개발 600 채점 dev_score.jsone890c3c2d6fcf5981a195b785925ae7e3963f700809b9bfa0b66411b83e4f695
3차 gate_table.json71f6bc260318b16b2a65799d75650c5080c41e19ba9f3842ee37f6f6c4763b73

부록 B. 로그와 원시 출력 위치

내용위치 (로컬 D:\AI\cts\ 기준)
4차 판정 문서shared/reports/RESULT-G2v4-confirm.md
4차 채점표·채점 로그·마스터 로그(원본·재개)shared/reports/g2v4fresh/ (gate_table.json·md, g2v4_fresh_score.log, cc_g2v4_confirm_master.log 3507a21e…, cts_g2v4_resume1_master.log e04f01ba…)
근본 원인 진단 전문과 원자료shared/reports/DIAG-G2v4-rootcause-20261011.md, g2v4diag/, g2v4v2/, g2v4deqlr/, g2v4m7rep/, g2v4posctl/
개발 600 정확도shared/reports/g2v4dev/ (dev_score.json·md, cc_g2v4_dev_m7.log)
새 문항 선택·id 검사·잠금 증거scratch/cc_g2v4_select_outputs.txt, cc_g2v4_evidence.txt, cc_g2v4_idscan_posctl.txt, cc_g2v4_lock_evidence.txt
근접도 보고scratch/cc_g2v4_proximity.txt
3차 결과shared/reports/RESULT-G2v3-confirm.md, g2v3fresh/
1·2차 결과RESULT-P6R-G2-main.md, RESULT-G2v2-dev.md, DIAG-P6R-local-20261008.md
진행 기록·가설·접속 기록shared/STATE.md, shared/GRAPH.md(H-DEC-7 채택), shared/ssh_log.csv
핵심 결과 백업 요약shared/reports/BACKUP_SUMMARY_20261011.md
서버 쪽 원본/home/shoon/cts_e1_s5/results_s7/p6r/g2v4fresh_merged/, raw_s7/g2v4_*, 재현용 텐서 /tmp/cts_g2v4_shoon/(휘발성)