지도교수님 보고용 · 개념 정리 한 장

같은 재료, 다른 시험
System 1.5 (AAAI)vsCTS (NeurIPS)

두 논문 모두 Gemma 4 E4B라는 같은 재료로 시작하지만, 무엇을 상대로, 어떤 잣대로 실험했는지가 다릅니다. 아래 세 단계로 그 차이를 정리했습니다.

1

먼저, "off-the-shelf(순정)"의 기준

자동차에 비유하면 "공장 출고 상태 그대로"인가입니다. 판단 기준은 딱 두 가지 — ① 가중치를 추가 학습했는가, ② 추론 엔진 구조를 뜯어고쳤는가. 둘 다 아니면 순정입니다.

방법 (캡처 표 = CTS Table 2) 자동차 비유 추가 학습? 판정
Greedy표준 디코딩 순정차를 그냥 일반 모드로 주행 없음 ✅ 순정 (off-the-shelf)
Think-OFF Greedy<|think|> 끔 순정차의 "스포츠 모드 버튼"을 일부러 끄고 주행 없음 ✅ 순정 (off-the-shelf)
Native Think<|think|> 켬 출고 때부터 원래 달려 있던 스포츠 모드 버튼을 켜고 주행 없음 ✅ 순정 (off-the-shelf)
FT-NTLoRA 파인튜닝 튜닝샵에 맡겨 엔진 세팅을 바꾼 뒤 주행 (같은 데이터·예산으로 추가 학습) 있음 ❌ 순정 아님
핵심: Native Think도 순정입니다. 계산기에 원래 달린 "풀이 과정 보기" 버튼을 누른 것일 뿐, 계산기 자체는 그대로이기 때문입니다. 위 3개 순정 방법은 모두 표준 autoregressive + KV캐시 경로 — 즉 교수님께서 말씀하신 "off-the-shelf LLM 비교 대상"에 정확히 해당합니다.
2

두 논문의 3층 구조 — 어디까지 같고, 어디서 갈리는가

아래층(재료)일수록 같고, 위층(비교 설계)으로 갈수록 달라집니다. 교수님의 우려는 3층에 위치합니다.

3층비교 대상
(여기서 갈림)

System 1.5 — 원래 "DEQ 안에서의 비교"

기존 baseline은 전부 동일 DEQ 환경에 이식된 방법들. 교수님 지적을 받아 이번 개정에서 Table 1(AR+KV 참조선)을 신설.

CTS — 처음부터 순정과 정면 대결

Greedy·Native Think 등 순정 방법이 동일 예산의 정식 baseline으로 Table 2에 원래부터 포함되어 있었음.

▲ 여기서부터 두 논문의 길이 갈립니다 ▲
2층추론 방식

두 논문 모두 표준 autoregressive가 아님 — "재료는 같고, 조리 방식을 바꿈"

System 1.5는 블록 6개를 DEQ로 감싸 fixed-point 반복 추론, CTS는 트리 탐색의 노드 전이를 DEQ solve로 대체. 따라서 두 논문 자체는 순수 off-the-shelf가 아님 (지난 답변에서 "Gemma 4 백본"으로만 표현해 흐려졌던 부분).

1층백본 가중치

완전히 동일 — Gemma 4 E4B, dense parameter 동결

이 층위에서 두 논문은 차이가 없음. 같은 밀가루로 시작합니다.

3

재는 잣대가 다르다 — 두 표의 정체

같은 순정 방법(Greedy, Native Think)이 두 논문의 표에 모두 등장하지만, 표의 목적과 측정 도구가 완전히 다릅니다.

CTS 논문 · TABLE 2 (캡처하신 표)
연료 고정 경주 🏁
잣대 = 연료계 하나 · "같은 기름으로 누가 더 멀리 가나"
연산 예산 10¹⁴ MACs = 고정 승부 축 = 정확도 E F
순정 방법들의 역할 = 같은 트랙의 정식 출전 선수 (경쟁자)
시험 과목단답형 수학 시험MATH·AIME 등 단일 질문, 문제 하나 → 답 하나
규칙전원에게 동일 연료(MACs) 제한 + Wilcoxon 통계 검정으로 승패 판정
결론 형태"CTS-4ν가 예산 내 최고 정확도(AIME 50.2%)"
SYSTEM 1.5 논문 · TABLE 1 (이번 개정 신설)
3축 카탈로그 비교 📐
잣대 = 세 개의 자 · "두 차종의 성격 차이를 한 표에"
정확도 지연시간 Peak VRAM 트레이드오프 지도
순정 방법들의 역할 = 관중석의 기준점 (참조선, 경쟁자 아님)
시험 과목연속 면접 (멀티턴 세션)10-K 보고서 하나에 앵커 질문 + 후속 10개 — 앞 맥락 재활용 능력을 측정
규칙원고 명시: "not a competitor... but a reference point" — 메모리 구조가 달라 공정 경쟁 불성립, 위치만 표시
결론 형태"두 추론 패러다임이 지도상 어디에 있는가" (세션 amortized 3.6× 가속 주장의 배경)
한 문장 요약

두 논문 모두 이제 off-the-shelf 경로가 표에 등장하지만 — CTS에서는 같은 연료로 겨루는 "경쟁자"로, System 1.5에서는 트레이드오프 지도의 "참조점"으로 쓰인다. 이것이 메일의 2층/3층 구분을 받쳐주는 핵심입니다.