urban-dandelion

Distilling the Knowledge in a Neural Network

urban-dandelion — Wed, 6 May 2026 21:08:50 +0900

type: paper
source: https://arxiv.org/abs/1503.02531

Distilling the Knowledge in a Neural Network

항목	내용
저자	Geoffrey E. Hinton, O. Vinyals, J. Dean
연도	2015
arXiv	1503.02531
분야	Mathematics, Computer Science
인용 수	23861 (Semantic Scholar 기준, 작성일 기준)

1. 배경 및 문제 정의

곤충은 애벌레 단계에서 영양분을 흡수하기에 적합한 형태로 살아가다가, 번데기를 거쳐 비행과 번식에 최적화된 성충으로 변태한다. 이 논문은 동일한 비유가 대규모 머신러닝 모델에도 적용된다고 본다. 즉, 학습 단계와 배포 단계는 본질적으로 다른 요구사항을 가진다.

학습 단계: 매우 크고 중복이 많은 데이터셋에서 구조(structure)를 추출하는 것이 목적이다. 실시간 응답이 필요 없고, 대규모 계산 자원을 자유롭게 사용할 수 있다. 따라서 앙상블이나 강력한 정규화를 적용한 대형 신경망처럼 거추장스러운(cumbersome) 모델이 유리하다.
배포 단계: 사용자에게 서비스를 제공하는 단계로, 지연 시간(latency)과 메모리·연산 자원 측면에서 매우 엄격한 제약이 있다. 따라서 작고 효율적인 모델이 필요하다.

이 두 단계의 요구사항이 충돌하기 때문에, 학습용 대형 모델이 보유한 일반화 능력을 작은 모델에 그대로 옮기는 방법이 필요하다. 이 논문은 이 이전(transfer) 절차를 지식 증류(Knowledge Distillation) 라고 명명한다.

지식을 옮기기 위해서는 먼저 "지식이란 무엇인가"를 재정의해야 한다. 일반적으로 학습된 모델의 지식은 파라미터 값과 동일시되지만, 이 논문은 더 추상적인 관점을 채택한다. 즉, 지식은 특정 파라미터 인스턴스가 아니라, 입력 벡터에서 출력 벡터로의 학습된 매핑(learned mapping) 이라고 본다. 이 관점은 작은 모델이 큰 모델과 동일한 매핑을 흉내 낼 수만 있다면, 파라미터 구조가 달라도 동일한 지식을 보유한 것으로 간주할 수 있게 한다.

2. 핵심 아이디어: 소프트 타겟과 일반화 정보

표준적인 분류기 학습은 입력에 대해 정답 클래스 하나를 1로, 나머지를 0으로 표시한 하드 타겟(Hard Target) 을 사용한다. 그러나 학습이 끝난 교사 모델이 출력하는 확률 분포에는 단일 정답을 넘어서는 풍부한 정보가 담겨 있다. 예를 들어 BMW 차량 이미지에 대해 교사 모델은 "쓰레기 트럭"보다 "당근"이 정답일 확률을 더 낮게 매길 수 있는데, 이 미세한 상대적 확률 차이가 곧 모델이 학습한 클래스 간 유사 구조 를 의미한다.

이 분포를 소프트 타겟(Soft Target) 이라고 부른다. 소프트 타겟이 가지는 두 가지 핵심 특성은 다음과 같다.

정보 밀도(Information density): 소프트 타겟이 높은 엔트로피를 가질 때, 한 학습 사례당 하드 타겟보다 훨씬 많은 정보를 제공한다. 즉, 같은 데이터로 더 많은 일반화 신호를 추출할 수 있다.
그래디언트 분산 감소: 학습 사례 간 그래디언트의 분산이 크게 줄어든다. 이로 인해 작은 모델은 원래의 거대 모델보다 훨씬 적은 데이터, 그리고 훨씬 높은 학습률(learning rate)로 효율적으로 학습할 수 있다.

다만 잘 학습된 교사 모델은 보통 정답 클래스에 99% 이상의 확률을 부여하고 나머지 클래스에는 거의 0에 가까운 값을 분배한다. 이 상태에서는 소프트 타겟이 사실상 하드 타겟과 다르지 않아 정보 이득이 사라진다. 이 문제를 해결하기 위해 도입되는 장치가 바로 온도(Temperature) 다.

3. 방법론: 온도와 목적 함수

3.1 Softmax와 온도 파라미터

신경망의 마지막 분류 계층은 logit $z_i$ 를 softmax 함수로 통과시켜 확률 $q_i$ 를 생성한다. 표준 softmax는 다음과 같다.

$q_i = \frac{\exp(z_i)}{\sum_j \exp(z_j)}$

여기에 온도 파라미터 $T$ 를 도입하면 다음과 같이 일반화된다.

$q_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$

$z_i$ : 클래스 $i$ 에 대한 로짓(logit)
$q_i$ : 클래스 $i$ 의 출력 확률
$T$ : 온도. $T=1$ 이면 일반 softmax, $T$ 가 커질수록 분포가 평탄(soft)해진다.

$T$ 가 높아질수록 확률 분포가 부드러워져, 정답이 아닌 클래스들 사이의 상대적 크기 관계가 더 또렷이 드러난다. 이것이 곧 교사 모델이 학습한 암묵적 클래스 유사도(dark knowledge) 다.

3.2 학습 절차

교사 모델(cumbersome model)에 높은 $T$ 를 적용해 부드러운 타겟 분포를 생성한다.
학생 모델(distilled model)은 동일한 높은 $T$ 로 자신의 소프트 출력을 만들고, 이 출력이 교사의 소프트 타겟과 일치하도록 학습한다.
추론 시점에는 학생 모델의 $T$ 를 1로 되돌려 표준 분류를 수행한다.

3.3 하드 타겟 결합과 가중치

정답 레이블이 존재하는 경우, 소프트 타겟만 사용하기보다 하드 타겟을 함께 사용하는 편이 성능이 좋다. 손실 함수는 두 항을 가중 평균한 형태가 된다.

① 소프트 타겟 손실: 학생 모델과 교사 모델이 모두 동일한 높은 $T$ 로 출력한 분포 간 교차 엔트로피
② 하드 타겟 손실: 학생 모델이 $T=1$ 로 출력한 분포와 정답 레이블 간 교차 엔트로피

실험적으로 두 손실의 가중치를 조정한 결과, 소프트 타겟 항에 훨씬 큰 가중치를 두는 것이 최적 임이 확인되었다. 즉 하드 타겟은 보조적 신호로 작동한다.

3.4 그래디언트 스케일링

소프트 타겟에 의한 그래디언트의 크기는 $1/T^2$ 에 비례해 작아진다. 따라서 두 손실을 결합할 때 소프트 타겟 항에 $T^2$ 를 곱해 스케일을 보정해야 한다.

$\mathcal{L} = T^2 \cdot \mathcal{L}_{\text{soft}} + \mathcal{L}_{\text{hard}}$

$\mathcal{L}_{\text{soft}}$ : 소프트 타겟과의 교차 엔트로피 손실
$\mathcal{L}_{\text{hard}}$ : 하드 타겟과의 교차 엔트로피 손실
$T^2$ : 온도 변화에 따른 그래디언트 스케일 보정 계수

이 보정 덕분에 $T$ 값을 변경하더라도 두 손실의 상대적 기여도가 일정하게 유지되며, 하이퍼파라미터 튜닝이 쉬워진다.

4. MNIST 예비 실험

지식 증류의 효과를 가장 직관적으로 확인할 수 있는 실험은 MNIST 손글씨 숫자 분류이다.

4.1 모델 구성과 기본 결과

모델	구조	정규화	테스트 에러
교사 모델	은닉층 2개, 각 1,200 ReLU 유닛	Dropout, 가중치 제약, 최대 2픽셀 지터링	67
학생 모델 (baseline)	은닉층 2개, 각 800 ReLU 유닛	없음	146
학생 모델 (distilled)	은닉층 2개, 각 800 ReLU 유닛	소프트 타겟 ( $T=20$ )	74

정규화 없이 학습된 800-unit 학생 모델은 146개의 테스트 에러를 보였으나, 동일한 학생 모델이 교사의 소프트 타겟( $T=20$ )을 추가로 학습하자 에러가 74개로 절반 수준으로 감소했다. 이는 교사 모델의 정규화 효과까지 소프트 타겟을 통해 전달되었음을 의미한다.

4.2 온도와 모델 용량의 상호작용

학생 모델이 각 은닉층에 300개 이상의 유닛을 가지면, $T \geq 8$ 범위에서 모두 비슷한 성능을 보였다.
학생 모델이 각 은닉층에 30개만 가질 정도로 매우 작아지면, $T \in [2.5, 4]$ 범위에서 가장 좋은 결과가 나왔고, 그 위·아래 온도에서는 성능이 떨어졌다.

이는 모델 용량이 작을수록 더 평탄한(소프트한) 타겟을 흡수할 여력이 부족해 최적 온도가 낮아진다는 것을 시사한다.

4.3 학습 데이터에서 누락된 클래스 복원

지식 증류의 일반화 능력을 가장 극적으로 보여주는 실험이다.

숫자 '3' 전체 제거: 전이용 학습 데이터에서 숫자 '3'에 해당하는 모든 예시를 빼고 학생 모델을 학습시켰다. 그 결과 학생 모델은 테스트셋에서 206개의 에러를 냈고, 그중 133개가 1,010개의 '3' 이미지에서 발생했다. 학생 모델은 '3' 클래스의 이미지를 한 번도 본 적이 없음에도 불구하고, 교사의 소프트 타겟 분포 안에 담긴 '3과 다른 숫자의 관계'만으로 일정 수준 분류를 학습한 것이다.
bias 보정: '3' 클래스의 학습된 바이어스가 너무 낮다는 것이 원인이었다. 이 클래스의 bias를 3.5만큼 올려주자 에러가 109개로 줄었고, 그중 '3' 이미지에서의 에러는 14개에 불과했다. 결과적으로 학생 모델은 한 번도 본 적 없는 '3' 클래스에서 약 98.6% 의 정확도를 달성했다.

4.4 극단적 데이터 결손

전이용 학습 데이터에 '7'과 '8'만 포함시켰을 때, 학생 모델의 테스트 에러율은 47.3%였다.
'7'과 '8' 클래스의 bias를 7.6만큼 낮춰 다른 클래스로 출력이 흐를 수 있게 하자, 에러율은 13.2% 까지 떨어졌다.

이 실험은 교사 모델의 일반화 구조가 소프트 타겟에 거의 그대로 코드화되어 있어, 학생이 데이터의 일부분만 보더라도 전체 분류 능력의 상당 부분을 회복할 수 있음을 보여준다.

4.5 한계

bias를 3.5 또는 7.6만큼 조정한 것은 휴리스틱이며, 이 값을 자동으로 찾는 방법은 논문에서 다루지 않는다.
모델 용량이 작을수록 온도 선택에 민감해져, 적정 $T$ 범위가 좁아진다.

5. 음성 인식 실험

이 섹션은 자동 음성 인식(ASR) 시스템에서 지식 증류의 실용성을 검증한다.

5.1 시스템 아키텍처

8개의 은닉층, 각 층 2,560 ReLU 유닛
최종 softmax 출력층: 14,000개의 HMM(Hidden Markov Model) 상태 레이블
입력: 26 프레임 × 40 Mel-scaled 필터뱅크 계수, 프레임당 10ms 간격
예측 대상: 입력 프레임 시퀀스의 21번째 프레임에 해당하는 HMM 상태
총 파라미터 수: 약 85M (8천 5백만 개)

DNN 어쿠스틱 모델은 다음 목적 함수를 따라 학습된다.

$\theta = \arg\max_{\theta'} P(h_t \mid s_t; \theta')$

$h_t$ : 시각 $t$ 에서의 정답 HMM 상태
$s_t$ : 시각 $t$ 의 입력 프레임 컨텍스트
$\theta$ : 신경망 파라미터

학습은 분산 확률 경사 하강법(distributed SGD)으로 진행되며, 학습 데이터는 약 2,000시간의 영어 음성 데이터에서 추출된 약 7억 개의 학습 예시이다.

5.2 베이스라인 성능

프레임 단위 정확도(Frame Accuracy): 58.9%
단어 오류율(Word Error Rate, WER): 10.9%

이 베이스라인은 이후 앙상블 모델 및 증류 모델과의 비교 기준으로 사용된다.

6. 전문가 앙상블 학습

6.1 앙상블의 비용 구조

앙상블은 병렬 계산을 활용하기 쉽고, 단일 모델보다 일반화 성능이 좋은 경우가 많다. 그러나 두 가지 비용 문제가 있다.

테스트 시 비용: 추론 시점에 여러 모델을 동시에 실행해야 하므로 자원과 지연 시간이 늘어난다.
학습 시 비용: 모델 자체가 크고 데이터셋도 거대한 경우, 여러 모델을 동시에 학습시키는 것이 현실적으로 불가능할 수 있다.

테스트 시 비용은 지식 증류로 해결된다. 즉, 앙상블의 출력을 소프트 타겟으로 삼아 단일 학생 모델로 압축하면 배포 효율을 회복할 수 있다.

6.2 전문가(Specialist) 모델의 도입

학습 시 비용은 모든 전문가가 전체 클래스를 다루는 대신, 각자 혼동하기 쉬운 클래스 부분 집합(confusable subset) 에 집중하도록 만들어 해결한다.

제너럴리스트 모델 하나가 전체 분류를 담당한다.
각 전문가 모델은 제너럴리스트가 자주 헷갈리는 클래스 클러스터에 특화된다.
이렇게 하면 한 전문가 모델이 학습해야 하는 결정 경계의 복잡도가 작아지고, 학습량이 분산된다.

6.3 JFT 데이터셋 결과

모델 구성	Conditional Test Accuracy	Test Accuracy
Baseline	43.1%	25.0%
Baseline + 61 Specialists	45.9%	26.1%

61개의 전문가 모델을 추가했을 때 절대 정확도는 25.0% → 26.1%로, 클래스 후보를 좁힌 조건부 정확도는 43.1% → 45.9%로 개선되었다. 큰 데이터셋에서는 전체 앙상블 학습이 어렵더라도, 전문가 앙상블 방식이 의미 있는 향상을 만들어낸다.

6.4 과적합 위험

전문가 모델은 세밀한 구분에 집중하기 때문에, 그 부분 집합에 해당하는 학습 데이터만으로는 과적합이 매우 쉽게 일어난다. 이 문제는 다음 섹션에서 다루는 소프트 타겟 정규화로 완화된다.

7. 소프트 타겟의 정규화 효과

7.1 핵심 주장

소프트 타겟은 단일 하드 타겟이 표현할 수 없는 클래스 간의 미세한 상대 관계를 담고 있다. 이는 교사 모델이 데이터에서 추출한 정규성(regularities)을 학생 모델에 그대로 전달해, 데이터가 적은 상황에서도 강력한 정규화 효과를 만든다.

7.2 데이터 3% 만으로 베이스라인 회복

음성 인식 시스템(85M 파라미터)을 다음 세 가지 조건으로 비교했다.

학습 설정	학습 데이터 비중	Train Frame Accuracy	Test Frame Accuracy
Baseline (Hard Targets)	100%	63.4%	58.9%
Baseline (Hard Targets)	3% (약 2천만 예시)	67.3%	44.5%
Soft Targets	3% (약 2천만 예시)	65.4%	57.0%

3%의 데이터만으로 하드 타겟 학습을 수행하면 train 정확도는 67.3%로 높지만 test 정확도는 44.5%까지 폭락한다. 명백한 심각한 과적합이다. 동일한 데이터로 소프트 타겟을 학습하면 train 정확도는 약간 낮은 65.4%로 안정되지만, test 정확도는 57.0%까지 회복되어 전체 데이터로 학습한 베이스라인(58.9%)에 약 2%포인트 차이로 근접한다.

7.3 조기 종료 없이 수렴

하드 타겟 학습 모델은 정확도가 44.5%에 도달한 직후 급락하기 때문에 조기 종료(early stopping)가 필수였다. 반면 소프트 타겟 학습 모델은 별도의 조기 종료 없이도 자연스럽게 57%로 수렴했다. 이는 소프트 타겟이 단순한 학습 신호가 아니라, 모델 복잡도를 자율적으로 제어하는 강력한 정규화 장치로 작동함을 보여준다.

7.4 한계

3% 미만의 극단적으로 적은 데이터에서도 같은 효과가 유지되는지에 대한 결과는 보고되지 않았다.
학습 곡선의 구체적인 형태(수렴 속도, 변동성)는 본문에 제시되지 않았다.

8. Mixture of Experts와의 관계

8.1 Mixture of Experts(MoE)의 구조

MoE는 게이팅 네트워크(gating network)와 전문가 모델(expert)을 동시에 학습한다. 게이팅 네트워크는 각 입력에 대해 어느 전문가에게 할당할지의 확률을 출력하며, 전문가는 자신에게 할당된 데이터를 처리하는 법을 학습한다. 이 과정은 입력을 단순히 클러스터링해 전문가에 배정하는 것보다 훨씬 효과적인데, 게이팅 네트워크가 전문가들의 상대적 판별 성능 을 기준으로 할당을 학습하기 때문이다.

8.2 MoE의 병렬화 어려움

MoE의 학습은 본질적으로 병렬화가 어렵다. 전문가별 학습 데이터 분포가 다른 전문가의 성능에 따라 계속 변화하고, 게이팅 네트워크는 동일 예제에 대해 전문가 간 성능 비교를 수행해야 하기 때문이다. 이 상호 의존성 때문에 MoE는 거대 데이터셋과 명확하게 분리된 서브셋을 가진 태스크에서만 드물게 사용되어 왔다.

8.3 본 논문의 전문가 학습 방식

본 논문의 접근은 단계를 분리한다.

먼저 제너럴리스트 모델을 학습한다.
제너럴리스트의 혼동 행렬(confusion matrix) 을 분석해, 자주 혼동되는 클래스끼리 묶어 부분 집합을 정의한다.
정의된 부분 집합 위에서 전문가 모델들을 완전히 독립적으로 학습한다.
추론 시에는 제너럴리스트의 예측을 이용해 관련된 전문가들만 호출하면 된다.

이 구조는 전문가들 사이에 학습 시점의 상호 의존성이 없으므로 자연스럽게 병렬화가 가능하다는 점에서 MoE와 본질적으로 다르다.

8.4 한계

전문가 방식과 MoE의 직접적인 성능 비교 수치는 본 논문에서 제시되지 않았다.
추론 단계에서 어떤 전문가를 활성화할지 결정하는 임계값의 구체적인 설정 방법은 명시되지 않았다.

9. 종합 논의 및 향후 과제

논문의 결과를 정리하면 다음과 같다.

MNIST에서의 일반화 입증: 학습 데이터에서 특정 클래스가 완전히 빠진 상황에서도 증류된 학생 모델은 그 클래스를 의미 있게 분류해냈다. 소프트 타겟 안에 클래스 간 관계 정보가 담겨 있기 때문이다.
Android 음성 검색 적용: 앙상블 학습으로 얻은 성능 향상의 거의 전부를 동일한 크기의 단일 모델로 증류할 수 있었다. 배포 단계에서 앙상블을 직접 운영하지 않고도 동등한 품질을 제공할 수 있게 된다.
거대 신경망에서의 전문가 활용: 전체 앙상블을 학습하기 어려울 정도로 큰 모델에서는, 단일 거대 모델을 오랫동안 학습한 뒤 다수의 전문가 모델을 추가하는 방식이 유효하다. 전문가들은 혼동되기 쉬운 클러스터 내부의 미세한 구분을 채워 넣어 전체 시스템의 약점을 보완한다.

남겨진 과제는 명확하다. 전문가 모델들이 학습한 지식을 다시 단일 거대 모델로 증류하는 절차는 본 논문에서 보여주지 못했으며, 이는 전문가 앙상블의 효율성과 단일 모델의 배포 편의성을 동시에 얻기 위해 필요한 다음 단계다.

10. 핵심 기여 요약

개념적 기여: 모델의 지식을 파라미터가 아닌 입력→출력 매핑으로 재정의하고, 이 매핑을 소형 모델로 옮기는 일반화된 절차(distillation)를 제안했다.
방법론적 기여: softmax에 온도 파라미터 $T$ 를 도입해 소프트 타겟의 정보량을 조절하는 메커니즘과, 하드/소프트 타겟을 결합할 때의 그래디언트 스케일링( $T^2$ 보정)을 제시했다.
실험적 기여: MNIST에서 누락 클래스에 대한 일반화, 음성 인식에서의 앙상블→단일 모델 증류, JFT에서의 전문가 앙상블 효과를 통해 다양한 규모와 도메인에서 방법의 유효성을 입증했다.
시스템적 기여: 전문가 모델을 독립적으로 병렬 학습한 뒤 제너럴리스트와 결합하는 방식을 도입해, 전통적인 MoE의 병렬화 한계를 우회했다.

참고: 핵심 선행 연구

Mixtures of Experts (Jacobs et al., 1991): 게이팅 네트워크와 전문가 모델을 동시에 학습하는 구조. 본 논문의 전문가 모델 방식이 비교 대상으로 삼는 핵심 선행 연구이며, 학습 시 상호 의존성으로 인한 병렬화 한계가 본 논문 방식의 차별점을 부각시키는 배경이 된다.
Dropout 및 가중치 제약 정규화 기법: MNIST 교사 모델 학습에 사용된 정규화 도구. 강한 정규화로 얻은 성능을 작은 모델로 옮길 수 있다는 점이 본 논문의 출발점이 된다.
DNN 기반 HMM 어쿠스틱 모델: 음성 인식 실험의 토대. DNN이 HMM 상태에 대한 사후 확률을 출력하고, 디코더가 이를 언어 모델과 결합하는 표준적 구조 위에서 증류 효과를 측정했다.

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

urban-dandelion — Wed, 6 May 2026 21:00:56 +0900

type: paper
source: https://arxiv.org/abs/2405.04434

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

항목	내용
저자	Zhihong Shao, Damai Dai, Daya Guo, Zihan Wang, Huajian Xin
연도	2024
arXiv	2405.04434
분야	Computer Science
인용 수	1127 (Semantic Scholar 기준, 작성일 기준)

1. 배경 및 문제 정의

대규모 언어 모델(LLM, Large Language Model)은 파라미터 수가 늘어날수록 다양한 과제에서 더 강력한 능력을 보이는 경향이 있다. 그러나 이러한 규모 확장은 두 가지 비용을 동반한다. 첫째는 학습에 들어가는 막대한 컴퓨팅 자원이며, 둘째는 추론 단계의 효율 저하이다. 특히 추론 단계에서는 어텐션 모듈이 보유하는 KV 캐시(Key-Value Cache, 디코딩 중 이전 토큰의 키·값을 저장해 재사용하는 메모리)가 처리량과 응답 지연의 핵심 병목으로 작용한다.

DeepSeek-V2는 이 트레이드오프를 정면으로 다루기 위해 설계된 오픈소스 MoE(Mixture-of-Experts, 혼합 전문가) 언어 모델이다. 총 파라미터는 236B이지만 토큰당 활성 파라미터는 21B에 불과하며, 컨텍스트 길이는 128K까지 지원한다. 핵심 설계 목표는 다음 두 가지를 동시에 달성하는 것이다.

경제적인 학습: 동급 규모 dense 모델이나 기존 MoE 대비 학습 비용을 줄인다.
효율적인 추론: KV 캐시 부담을 획기적으로 줄여 처리량을 크게 끌어올린다.

이를 위해 두 가지 아키텍처 혁신이 도입된다. 어텐션 측면의 Multi-head Latent Attention(MLA)과 FFN(Feed-Forward Network) 측면의 DeepSeekMoE이다. 결과적으로 직전 버전인 DeepSeek-V1(67B dense) 대비 학습 비용 42.5% 절감, KV 캐시 93.3% 감소, 최대 생성 처리량 5.76배 향상을 달성했다.

Figure 2: DeepSeek-V2의 전체 아키텍처 — MLA와 희소 MoE 결합 구조

이 그림은 DeepSeek-V2 한 개 Transformer 블록의 전체 흐름을 보여준다. 입력 토큰의 hidden state는 먼저 RMSNorm을 거쳐 MLA 어텐션 모듈로 들어가고, 잔차 연결 이후 다시 RMSNorm을 거쳐 DeepSeekMoE FFN으로 전달된다. MLA 측은 키·값을 저차원 잠재 벡터(latent vector) 한 개로 공동 압축한 뒤 추론 시점에 다시 헤드별 키·값으로 복원하는 구조라서, 디코딩 중 캐싱해야 하는 텐서가 헤드 수가 아니라 잠재 벡터 차원에 비례해 결정된다. DeepSeekMoE 측은 다수의 라우팅 전문가(routed experts)와 소수의 공유 전문가(shared experts)로 구성되는데, 토큰마다 라우터가 일부 라우팅 전문가만 활성화하고 공유 전문가는 항상 함께 사용한다. 이 두 모듈을 결합함으로써 동일 토큰 처리 시 활성 파라미터 수는 21B 수준으로 묶이고, 추론 시 KV 캐시 메모리는 동일 헤드 수 MHA 대비 한 자릿수 분의 일 규모로 줄어든다. 그림은 이러한 설계가 “큰 모델, 작은 활성 비용, 작은 캐시”라는 세 가지 목표를 어떻게 동시에 만족시키는지를 시각적으로 정리한다.

2. 두 가지 핵심 혁신 개요

DeepSeek-V2는 표준 Transformer 골격 위에 두 모듈을 교체해 끼우는 형태의 변경을 가한다. 레이어 정규화(Layer Normalization)나 활성화 함수 등 그 외 세부 설정은 DeepSeek-V1의 안정적인 구성을 그대로 계승해 학습의 변동 요인을 줄였다.

Multi-head Latent Attention (MLA) — 어텐션 모듈을 대체. 저차원 KV 공동 압축(low-rank key-value joint compression)으로 추론 시 캐시되는 키·값 텐서의 크기를 대폭 축소한다.
DeepSeekMoE — FFN을 대체. 세밀한 전문가 분할(fine-grained expert segmentation)과 공유 전문가 격리(shared expert isolation)로 전문가 전문화의 잠재력을 끌어올려 같은 비용으로 더 강한 모델을 학습할 수 있게 한다.

이 두 가지 모듈은 서로 직교한다. MLA는 추론 효율을, DeepSeekMoE는 학습 효율과 모델 능력을 담당하므로, 한쪽이 다른 쪽의 효과를 상쇄하지 않는다.

3. Multi-head Latent Attention(MLA)의 동기와 구조

기존 Multi-Head Attention(MHA)은 헤드마다 독립적인 키·값 행렬을 생성·저장한다. 시퀀스 길이가 길어지면 KV 캐시 메모리가 시퀀스 길이 × 헤드 수 × 헤드 차원으로 선형 증가해, 128K 컨텍스트 같은 긴 시퀀스 추론에서는 이 캐시가 가장 무거운 자원이 된다. KV 캐시를 줄이기 위해 제안된 것이 Grouped-Query Attention(GQA, 여러 쿼리 헤드가 KV 헤드 하나를 공유)과 Multi-Query Attention(MQA, 모든 쿼리 헤드가 KV 헤드 하나를 공유)이다. 그러나 이들은 KV 헤드 자체를 줄여서 표현력 손실을 동반하는 경향이 있다.

Figure 3: MHA, GQA, MQA, MLA 네 가지 어텐션 방식 비교

이 그림은 네 어텐션 방식이 KV 캐시를 어떻게 구성하는지를 한 줄로 비교한다. MHA는 모든 헤드가 자체 K, V를 가져 캐시 부담이 가장 크고, GQA는 헤드를 그룹화해 공유 K, V를 두며, MQA는 K, V를 단일 쌍으로 줄여 캐시 부담은 최소이지만 표현력이 가장 낮아진다. MLA는 다른 접근을 취해 모든 토큰의 키·값을 하나의 저차원 잠재 벡터로 공동 압축하고, 이 잠재 벡터만 캐시한다. 추론 시 잠재 벡터를 행렬을 통해 헤드별 키·값으로 다시 펼치는 구조이므로, 작은 캐시를 유지하면서도 헤드별 다양성은 보존된다. 이는 “캐시 크기 대비 정보 보존량”이라는 관점에서 MLA가 다른 세 방식과 본질적으로 다른 차원의 절충을 한다는 점을 보여주며, 뒤에 이어지는 어블레이션 결과의 직관적 근거가 된다.

MLA의 계산 과정

MLA의 전체 계산은 잠재 벡터의 생성과 복원으로 요약된다. 입력 hidden state $\mathbf{h}_t$ 로부터 다음과 같이 진행된다.

$\mathbf{c}_t^{Q} = W^{DQ}\mathbf{h}_t, \qquad \mathbf{q}_{t,i}^{C} = W^{UQ}_i \mathbf{c}_t^{Q}$

$\mathbf{c}_t^{KV} = W^{DKV}\mathbf{h}_t, \qquad \mathbf{k}_{t,i}^{C} = W^{UK}_i \mathbf{c}_t^{KV}, \qquad \mathbf{v}_{t,i}^{C} = W^{UV}_i \mathbf{c}_t^{KV}$

$\mathbf{q}_t^{R}, \mathbf{k}_t^{R} \;\leftarrow\; \mathrm{RoPE}(\cdot)$

$\mathbf{o}_{t,i} = \sum_j \mathrm{softmax}\!\left(\frac{\mathbf{q}_{t,i}^\top \mathbf{k}_{j,i}}{\sqrt{d}}\right)\mathbf{v}_{j,i}^{C}$

각 변수의 의미는 다음과 같다.
- $\mathbf{h}_t$ : 토큰 $t$ 의 입력 hidden state.
- $\mathbf{c}_t^{Q}$ , $\mathbf{c}_t^{KV}$ : Query와 Key-Value를 위한 저차원 잠재 벡터. KV 캐시에는 $\mathbf{c}_t^{KV}$ 와 RoPE가 적용된 $\mathbf{k}_t^{R}$ 만 저장된다.
- $W^{DQ}, W^{DKV}$ : 다운프로젝션 행렬(잠재 벡터로 압축).
- $W^{UQ}, W^{UK}, W^{UV}$ : 업프로젝션 행렬(헤드별 Query/Key/Value로 복원).
- $\mathbf{q}_t^{R}, \mathbf{k}_t^{R}$ : RoPE(Rotary Positional Embedding, 회전 위치 임베딩)가 적용되는 보조 성분으로, 위치 정보를 어텐션에 주입한다.
- $\mathbf{o}_{t,i}$ : 헤드 $i$ 의 어텐션 출력.

핵심은 추론 시 행렬 곱의 결합법칙(associative law of matrix multiplication)을 이용해 $W^{UK}$ 를 $W^{UQ}$ 에, $W^{UV}$ 를 출력 행렬 $W^{O}$ 에 흡수시킬 수 있다는 점이다. 이렇게 하면 매 디코딩 스텝마다 $\mathbf{k}_t^{C}$ 와 $\mathbf{v}_t^{C}$ 를 명시적으로 다시 만들지 않아도 되며, 캐시되는 양은 $\mathbf{c}_t^{KV}$ 와 $\mathbf{k}_t^{R}$ 두 개뿐이다. 결과적으로 추가 연산 오버헤드 없이 KV 캐시를 줄일 수 있다.

MLA 어블레이션: 다른 어텐션 방식과의 비교

논문은 동일 파라미터 수, 동일 학습 토큰, 그리고 동일한 KV 캐시 예산(약 MHA의 1/8) 조건에서 네 방식의 perplexity를 비교한다.

어텐션 방식	KV 캐시 크기	Perplexity
MHA	1/8	12.69
GQA	1/8	12.69
MQA	1/8	12.74
MLA	1/8	12.57

해석상 두 가지가 중요하다. 첫째, KV 캐시 크기를 동일하게 맞추면 MHA·GQA의 perplexity 차이는 사실상 사라진다. 따라서 GQA의 실제 가치는 “동일 성능을 더 작은 캐시로” 얻는다는 점에 있다. 둘째, MLA는 같은 캐시 예산에서 가장 낮은 perplexity를 달성한다. 즉 MLA의 저차원 압축은 헤드 수를 단순히 줄이는 방식보다 정보 보존 효율이 더 높다.

4. DeepSeekMoE 아키텍처

FFN 자리에는 GShard 계열의 전통적 MoE가 아니라 DeepSeekMoE가 들어간다. 두 가지 설계가 핵심이다.

세밀한 전문가 분할(fine-grained expert segmentation): 같은 총 파라미터 예산을 더 많은, 더 작은 전문가로 쪼갠다. 이로써 토큰별로 더 정교한 전문가 조합이 가능해진다.
공유 전문가 격리(shared expert isolation): 토큰마다 항상 함께 활성화되는 공유 전문가를 분리해 둠으로써 “모든 토큰이 공통으로 알아야 할 일반 지식”을 라우팅 전문가가 중복 학습하지 않게 한다.

논문은 이 구성이 GShard와 같은 기존 MoE 대비 더 강한 모델을 더 경제적인 비용으로 학습 가능하게 한다고 설명한다. DeepSeek-V2의 “학습 비용 42.5% 절감”의 상당 부분이 이 모듈의 기여로 귀속된다.

5. 사전 학습(Pre-training)

DeepSeek-V2의 사전 학습 코퍼스는 다양한 출처의 고품질 데이터로 8.1T(조) 토큰 규모이다. DeepSeek-V1과 비교해 데이터 양이 늘어났고, 특히 중국어 데이터의 비중이 커졌으며 데이터 품질이 향상되었다.

데이터 준비 단계에서는 명시적인 디바이아싱(debiasing, 편향 제거) 절차도 포함된다. 지역 문화의 영향을 받은 가치관처럼 논쟁의 여지가 큰(contentious) 콘텐츠를 식별·필터링해 모델이 특정 입장을 강하게 학습하지 않도록 했다. 이 결정은 9절에서 다룰 “MMLU Humanity-Moral 서브셋 성능 저하”라는 의도된 부작용을 만들어낸다.

6. 정렬(Alignment): SFT와 강화학습

사전 학습이 끝난 모델은 두 단계의 정렬 절차를 거친다.

SFT(Supervised Fine-Tuning, 지도형 미세조정): 수학·코드·글쓰기·추론·안전 등 다양한 도메인을 아우르는 150만(1.5M) 개의 대화 세션을 수집해 DeepSeek-V2-SFT를 학습시켰다.
RL(Reinforcement Learning): DeepSeekMath의 방법론을 따라 GRPO(Group Relative Policy Optimization, 그룹 상대 정책 최적화)를 적용해 인간 선호에 맞는 정렬을 수행하고, DeepSeek-V2-RL(=Chat 버전)을 만들었다.

정렬에서는 “정렬세(Alignment Tax)”, 즉 인간 선호 정합 과정에서 일부 일반 벤치마크 성능이 떨어지는 현상이 발생할 수 있다. DeepSeek-V2는 데이터 필터링을 통한 디바이아싱과 온라인 RL 기반 정렬을 결합해 이 비용을 최소화하면서 성능과 안전성의 균형을 맞췄다고 보고한다.

7. 주요 성능 결과

DeepSeek-V2는 21B 활성 파라미터만으로 오픈소스 모델 가운데 최상위권 성능을 달성하며, 오픈소스 MoE 언어 모델 중 가장 강력한 모델 자리에 올라섰다. 정렬 모델인 DeepSeek-V2-RL의 대표 점수는 다음과 같다.

AlpacaEval 2.0 길이 제어 승률(length-controlled win rate): 38.9%
MT-Bench 전체 점수: 8.97
AlignBench 전체 점수: 7.91

중국어 오픈 엔드 대화 평가에서 DeepSeek-V2-RL은 모든 오픈소스 모델을 능가했고, 다수의 폐쇄형(closed-source) 모델까지 뛰어넘는 결과를 보였다.

긴 컨텍스트 지원에 대한 검증으로 NIAH(Needle In A Haystack, 건초 더미 속 바늘 찾기) 평가가 사용된다. 긴 문서 어딘가에 심어둔 짧은 문장을 모델이 찾아내는지를 보는 테스트이다.

Figure 4: NIAH 128K 컨텍스트 평가 — 모든 컨텍스트 길이에서 안정적 회수

이 그림은 가로축 컨텍스트 길이, 세로축 “바늘”의 삽입 위치(문서 내 깊이)로 구성된 히트맵이다. 셀의 색은 해당 길이·위치에서 모델이 바늘을 정확히 회수했는지를 나타낸다. DeepSeek-V2는 가로축이 128K에 도달할 때까지 셀 색상이 균일하게 “성공” 영역에 머문다. 이는 학습 시 사용한 시퀀스 길이를 넘어선 영역에서도 위치 의존적 성능 저하가 두드러지지 않음을 의미한다. 곧 128K 컨텍스트가 명목상의 사양에 그치지 않고 실제로 사용 가능하다는 주장의 직접 근거이며, 긴 문서 QA·코드베이스 탐색·장문 대화 같은 긴 컨텍스트 활용 시나리오에서의 실용성을 뒷받침한다.

8. 사전 학습 데이터 디바이아싱과 그 부작용

데이터 디바이아싱은 의도된 부작용을 동반한다. 특정 지역 문화와 강하게 결합된 정답이 존재하는 테스트 셋에서는 점수가 다소 낮아질 수 있는데, 대표 사례가 MMLU의 Humanity-Moral 서브셋이다. 이 서브셋은 주로 미국적 가치와 결부된 도덕 시나리오를 다룬다. DeepSeek-V2는 대부분의 MMLU 서브셋에서 Mixtral 8x22B 등과 동등하거나 더 나은 성능을 보이지만 Humanity-Moral 서브셋에서는 상대적으로 낮은 점수를 기록한다.

논문은 이 점수 차이가 단지 모델의 약점이 아니라 “데이터셋 자체가 논쟁적이라는 사실”에 기인한다는 점을 보이기 위해, 잘 교육받은(well-educated) 어노테이터 3명에게 해당 서브셋의 도덕 시나리오 420개를 독립적으로 재라벨링하게 했다. 정답 레이블 및 어노테이터 간 일치도는 다음과 같다.

Agreement	Ground-Truth	Annotator 1	Annotator 2	Annotator 3
Ground-Truth Label	100.0%	66.7%	59.8%	42.1%
Annotator 1	66.7%	100.0%	57.9%	69.0%
Annotator 2	59.8%	57.9%	100.0%	65.5%
Annotator 3	42.1%	69.0%	65.5%	100.0%

세 어노테이터 모두 정답 레이블과 일치도가 67% 이하이며, 어노테이터끼리도 합의가 60% 안팎이다. 즉 “정답”이 단일하다고 보기 어려운 문항이 다수라는 신호이다. 이는 디바이아싱 전략의 부작용으로 나타난 점수 차이가 모델 능력의 결함보다 데이터의 문화 의존성에서 기인함을 뒷받침한다.

9. 추가 평가: 수학과 코드

9.1 중국어 수학 — SC-Math6

SC-Math6 코퍼스(수천 개의 중국어 수학 문제)에서 DeepSeek-V2-RL은 GPT-4 계열을 제외한 모든 중국어 LLM을 능가하며, 같은 5단계 추론 레벨(R Level 5) 모델 중 중국어 모델 1위에 위치한다.

Model	R Level	Comp.	Reas. Steps	OvrAcc
GPT-4-1106-Preview	5	90.71	91.65	89.77
GPT-4	5	88.40	89.10	87.71
Ernie-bot 4.0	5	85.60	86.82	84.38
DeepSeek-V2-RL	5	83.35	85.73	84.54
Qwen-110B-Chat	5	83.25	84.93	84.09
GLM-4	5	84.24	85.72	82.77
Xinghuo 3.5	5	83.73	85.37	82.09
Qwen-72B-Chat	4	78.42	80.07	79.25
ChatGLM-Turbo	4	57.70	60.32	55.09
GPT-3.5-Turbo	4	57.05	59.61	54.50
Qwen-14B-Chat	4	53.12	55.99	50.26
ChatGLM3-6B	3	40.90	44.20	37.60
Xinghuo 3.0	3	40.08	45.27	34.89
Baichuan2-13B-Chat	3	39.40	42.63	36.18
Ernie-3.5-turbo	2	25.19	27.70	22.67
Chinese-Alpaca2-13B	2	20.55	22.52	18.58

GPT-4 계열이 여전히 절대 점수에서는 앞서지만, DeepSeek-V2-RL은 Ernie-bot 4.0, Qwen-110B-Chat, GLM-4 등 동급 중국어 모델군 안에서 OvrAcc 84.54로 상위에 위치한다.

9.2 코드 생성 — HumanEval과 LiveCodeBench

코드 능력은 HumanEval과 LiveCodeBench 두 벤치마크로 측정한다. 특히 LiveCodeBench는 2023년 9월 1일부터 2024년 4월 1일 사이에 출제된 신규 문제로 구성되어, 사전 학습 데이터에 정답이 그대로 포함되었을 가능성을 줄인 “신선한” 평가셋이다.

Figure 5: HumanEval 및 LiveCodeBench에서의 모델별 코드 성능 비교

이 그림은 가로·세로축에 각각 두 벤치마크 점수를 두고 모델들을 산점도로 배치한다. DeepSeek-V2-RL은 LiveCodeBench Pass@1 기준으로 일부 거대 모델을 넘어서는 위치에 자리하며, HumanEval에서도 경쟁력 있는 지점에 놓인다. 두 축 모두에서 우상단에 가까운 위치는 “과거 형식의 표준 코드 평가(HumanEval)뿐 아니라 사전 학습 시점 이후 출제된 새 문제(LiveCodeBench)에도 대응 가능하다”는 의미이며, 이는 단순 기억이 아닌 실제 코딩 추론 능력을 갖췄다는 주장의 핵심 근거이다.

10. 경량 모델: DeepSeek-V2-Lite

DeepSeek-V2의 두 핵심 모듈(MLA + DeepSeekMoE)이 작은 규모에서도 작동함을 보이기 위해 16B(부록의 본문 텍스트 표기 기준)/15.7B(요약 표기) 규모의 DeepSeek-V2-Lite를 별도로 공개한다. 주요 벤치마크 점수는 다음과 같다.

벤치마크	형식	점수
MMLU	5-shot	58.3%
BBH	3-shot	44.1%
TriviaQA	5-shot	64.2%
NaturalQuestions	5-shot	26.0%
ARC-Easy	25-shot	70.9%
ARC-Challenge	25-shot	51.2%
AGIEval	0-shot	33.2%
HumanEval	0-shot	29.9%
MBPP	3-shot	43.2%
GSM8K	8-shot	41.1%
MATH	4-shot	17.1%
CMath	0-shot	58.4%
CLUEWSC	5-shot	74.3%
C-Eval	5-shot	60.3%
CMMLU	5-shot	64.3%

해석 포인트는 두 가지다. 첫째, ARC-Easy(70.9%) vs. ARC-Challenge(51.2%) 격차에서 보듯 난이도가 올라갈수록 성능이 떨어지는 일반적 LLM 경향을 그대로 따른다. 둘째, C-Eval(60.3%) < CMMLU(64.3%) 차이에서 알 수 있듯 같은 중국어 평가라도 평가 구성에 따라 점수가 갈리며, 대규모 학습 데이터의 중국어 비중 증가가 CMMLU 같은 광범위 지식 평가에서 더 크게 효과를 보인다.

11. 한계와 향후 방향

DeepSeek-V2 및 그 Chat 버전은 대규모 LLM이 공통적으로 갖는 한계를 함께 안고 있다.

지식 컷오프 이후 정보 부재: 사전 학습 시점 이후의 사실을 정확히 답할 수 없다.
비사실 생성: 검증되지 않은 조언과 같은 비사실적 정보를 만들 수 있다.
환각(hallucination): 그럴듯하지만 사실이 아닌 응답을 생성할 가능성이 있다.
다국어 능력 편중: 학습 데이터가 주로 중국어와 영어이므로 그 외 언어에서는 능력이 제한될 수 있다.

향후 계획은 세 갈래다.

MoE의 추가 스케일업: 경제적인 학습·추론 비용을 유지하면서 GPT-4 수준 성능 달성을 목표로 한다.
정렬 고도화: 인간 가치와 모델 가치를 더 잘 일치시키고, 인간 감독 의존도를 낮추면서도 정직하고 안전한 모델을 만든다.
멀티모달 확장: 현재 텍스트 전용인 모델을 다양한 모달리티로 확장한다.

12. 평가 형식 설계

본 모델 평가는 벤치마크별로 입력 형식을 명시적으로 정의한다. 형식 표준화는 모델의 추론 능력과 지식 수준을 일관성 있게 측정하기 위한 전제 조건이다.

객관식 형식: AGIEval, ARC, C-Eval, C3, CCPM, CMMLU, CHID, HellaSwag, MMLU, OpenBookQA, PIQA, RACE, WinoGrande. 문제와 선택지를 제공하고 A~D 중 하나를 고르게 한다.
주관식·추론 형식: BBH, CMATH, CMRC2018, DROP, CLUEWSC, GSM8K, MATH, NaturalQuestions, TriviaQA. 직접 답이나 계산 결과를 요구한다. BBH·GSM8K·MATH·MBPP·CRUXEval-I 등 추론 의존도가 높은 과제에는 “Let's think step by step” 류의 CoT(Chain-of-Thought, 사고 사슬) 유도 문구를 함께 제공한다.
코드 생성 형식: HumanEval, MBPP. 함수 시그니처, 도큐스트링, 테스트 케이스를 주고 함수 본체를 요구한다.
코드 추론 형식: CRUXEval-I(입력 추론), CRUXEval-O(출력 예측). 함수와 assertion을 주고 빠진 입력값 또는 출력값을 [ANSWER] 태그 안의 완성된 assertion으로 제출하게 한다.
특수 형식 — WinoGrande: 두 가지 대명사 접두사와 한 개의 완료 문장을 주고, 어느 접두사가 완료 문장과 더 잘 어울리는지 고르게 한다.

13. 기여자 구성

논문은 모델 개발 조직 구성과 핵심 기여자를 명시한다.

역할	인원	핵심 기여자
연구 및 엔지니어링	128	Huazuo Gao, Wangding Zeng (MLA 아키텍처 핵심 혁신 주도)
데이터 어노테이션	32	—
비즈니스 및 컴플라이언스	20	—

외부 기여로 Jianlin Su의 위치 임베딩 관련 토론이 언급된다. 또한 저자들은 “AGI(인공일반지능)로 가는 길에서 혁신, 참신함, 호기심이 필수적”이라는 철학을 공유한다고 밝힌다.

14. 핵심 수치 종합 요약

항목	값 / 비교 대상
총 파라미터	236B
활성 파라미터(토큰당)	21B
컨텍스트 길이	128K
사전 학습 토큰	8.1T
SFT 대화 세션	1.5M
학습 비용 절감	DeepSeek-V1 대비 42.5%
KV 캐시 감소	DeepSeek-V1 대비 93.3%
최대 생성 처리량	DeepSeek-V1 대비 5.76배
AlpacaEval 2.0 LC 승률	38.9%
MT-Bench	8.97
AlignBench	7.91
MLA Perplexity (캐시 1/8)	12.57
MHA / GQA / MQA Perplexity (캐시 1/8)	12.69 / 12.69 / 12.74

참고: 핵심 선행 연구

DeepSeekMoE — 본 논문이 채택한 FFN 측 MoE 아키텍처의 직접 출처. 세밀한 전문가 분할과 공유 전문가 격리 개념이 여기에서 도입되었다.
DeepSeekMath / GRPO(Group Relative Policy Optimization) — DeepSeek-V2의 RL 정렬 단계에서 사용된 알고리즘의 출처. 그룹 단위 상대 보상으로 정책을 갱신해, 인간 선호 정합과 안정적 학습을 동시에 달성한다.
GShard 계열 MoE — DeepSeekMoE가 비교 대상으로 삼는 전통적 MoE의 대표. DeepSeekMoE의 “세밀한 분할 + 공유 전문가” 설계가 이 계열 대비 어떤 이점을 갖는지에 대한 기준선이다.
MHA / GQA / MQA — MLA 어블레이션의 직접 비교군. 동일 KV 캐시 예산에서 MLA의 우위를 보이는 데 사용된다.
RoPE(Rotary Positional Embedding) — MLA에서 위치 정보 주입에 사용되는 위치 임베딩 기법. Jianlin Su의 토론으로 본 논문 설계에 영향을 주었다고 명시된다.
DeepSeek-V1(67B dense) — 본 모델의 직접 비교 대상. 학습 비용 42.5% 절감, KV 캐시 93.3% 감소, 처리량 5.76배 향상 모두 V1을 기준선으로 한 수치이다.

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

urban-dandelion — Mon, 4 May 2026 21:35:59 +0900

type: paper
source: https://arxiv.org/abs/2305.10601

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

항목	내용
저자	Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, T. Griffiths, Yuan Cao, Karthik Narasimhan
연도	2023
arXiv	2305.10601
분야
인용 수	3700 (Semantic Scholar 기준)

1. 배경 및 문제 정의

1.1 대규모 언어 모델의 구조적 추론 한계

대규모 언어 모델(LM, Language Model)은 본질적으로 토큰 단위 좌→우(autoregressive) 디코딩으로 텍스트를 생성한다. 이는 Kahneman이 제시한 이중 처리 이론(Dual Process Theory)의 System 1(빠르고 자동적인 직관적 처리)에 해당하며, 한 번 생성한 토큰 시퀀스를 되돌리거나 분기하여 대안을 탐색하는 능력이 없다. 즉 LM의 기본 추론은 단일 경로를 따라 앞으로만 진행하는 선형적 의사결정이다.

반면 인간의 복잡한 문제 해결은 System 2(느리고 의도적인 숙고적 처리)를 요구한다. 여러 가능성을 머릿속에서 시뮬레이션하고, 막다른 길에 도달하면 되돌아가(backtrack) 다른 경로를 시도하는 과정이 핵심이다. ToT(Tree of Thoughts)는 LM에 이 System 2 사고 방식을 부여하기 위해 설계되었다.

1.2 Newell-Simon의 문제 공간 탐색 이론

ToT의 설계 철학은 Newell과 Simon(1972)의 문제 공간(problem space) 이론에 직접 근거한다. 이 이론에 따르면 문제 해결이란 다음 세 가지로 구성된다:

초기 상태에서 목표 상태까지의 경로를 찾는 것
중간 상태들의 집합이 문제 공간을 구성
탐색 과정에서 휴리스틱(heuristic, 경험적 판단 규칙)을 사용해 유망한 경로를 우선 탐색

ToT는 이 고전적 프레임워크를 LM에 이식한다. 각 중간 상태는 LM이 생성한 일관성 있는 사고 단위(thought)이고, LM 자체가 휴리스틱 평가 함수 역할을 수행하여 각 사고의 유망성을 판단한다.

1.3 기존 추론 방법의 구조적 한계

기존 LM 추론 패러다임은 모두 트리의 특수 사례(제한된 깊이·너비)로 볼 수 있다:

IO(Input-Output): 깊이 1, 너비 1의 트리. 입력에 대해 단일 출력을 바로 생성하며 탐색이 없다.
CoT(Chain-of-Thought): 깊이 N, 너비 1의 트리. 중간 사고 단계를 거치지만 단일 경로만 추종하여 막다른 길에서 되돌아갈 수 없다.
CoT-SC(Self-Consistency): 깊이 N, 너비 K의 트리이나 각 경로가 독립적이다. 경로 간 상호작용이나 중간 평가 없이 최종 답에서만 다수결 투표를 수행한다.
Self-Refine: 깊이 N의 단일 경로에서 반복 수정한다. 근본적으로 다른 방향을 탐색하지 못한다.

ToT는 이 모든 한계를 극복하여 임의 깊이·너비의 트리 탐색 + 중간 노드 평가 + 백트래킹을 가능하게 한다.

2. 핵심 기여 및 방법론

2.1 형식적 프레임워크: 기존 방법의 통합

ToT는 기존 프롬프팅 방법들을 트리 탐색의 특수 사례로 통합하며, 이를 위해 각 방법을 확률적 생성 과정으로 형식화한다.

IO 프롬프팅은 입력 $x$ 에서 출력 $y$ 를 단일 스텝으로 직접 생성한다:

$y \sim p_\theta^{\text{IO}}(y \mid x)$

여기서 $p_\theta$ 는 파라미터 $\theta$ 를 가진 언어 모델의 조건부 분포다. 트리 관점에서 보면 깊이 1, 너비 1인 퇴화된 트리로, 중간 추론 단계가 전혀 없다.

CoT 프롬프팅은 중간 사고 단계 $z_1, z_2, \ldots, z_n$ 을 순차적으로 생성한 뒤 최종 출력을 도출한다:

$z_i \sim p_\theta^{\text{CoT}}(z_i \mid x, z_1, \ldots, z_{i-1}), \quad y = f(z_1, \ldots, z_n)$

각 $z_i$ 는 "일관성 있는 사고 단위"로, 문제에 따라 한 단어, 한 문장, 수식 한 줄 등 다양한 크기를 가진다. 핵심 제약은 단일 경로라는 점이다. 한번 $z_i$ 를 생성하면 되돌아갈 수 없고 분기도 불가능하여, 트리 관점에서는 깊이 $n$ , 너비 1인 선형 체인이다.

CoT-SC는 CoT를 $k$ 번 독립 샘플링하여 다수결로 최종 답을 선택한다:

$y^{(j)} \sim p_\theta^{\text{CoT}}(\cdot \mid x), \quad j = 1, \ldots, k$
$\hat{y} = \arg\max_y \sum_{j=1}^{k} \mathbf{1}[y^{(j)} = y]$

트리 관점에서는 깊이 $n$ , 너비 $k$ 이지만 각 체인이 완전히 독립적이어서 체인 간 상호작용이 없다. CoT-SC의 다수결 메커니즘은 출력 공간이 이산적이고 제한적일 때만 유효하다. 수학 문제처럼 답이 단일 숫자인 경우 다수결이 작동하지만, 창작 글쓰기나 코드 생성처럼 출력 공간이 사실상 무한한 경우 $k$ 개 체인이 모두 다른 출력을 생성하여 다수결 자체가 무의미해진다.

방법	트리 깊이	트리 너비	탐색/백트래킹	Game of 24 성공률
IO	1	1	불가	7.3%
CoT	n	1	불가	4.0%
CoT-SC (k=100)	n	k	체인 간 독립	9.0%
ToT (b=5)	n	b	BFS/DFS 가능	74%

2.2 ToT 프레임워크의 4가지 설계 축

ToT는 LLM의 문제 해결 과정을 트리 탐색으로 구조화하며, 이를 위해 4가지 설계 질문에 답해야 한다.

축 1: Thought Decomposition (사고 분해)

문제를 어떤 크기의 "사고" 단위로 쪼갤지 결정한다. 사고 단위는 몇 단어(예: Game of 24에서 4 + 9 = 13)부터 한 문단(예: Creative Writing에서 문단 하나)까지 가변적이다. 핵심 원칙은 LLM이 해당 단위를 생성할 만큼 작되, 해결 진행 여부를 평가할 만큼 커야 한다는 것이다. 이 설계는 탐색 트리의 깊이와 분기 수 간 트레이드오프를 결정한다.

축 2: Thought Generator $G(p_\theta, s, k)$

현재 상태 $s$ 에서 $k$ 개의 후보 사고를 생성하는 함수다. 두 가지 전략이 존재한다.

Sample 전략: CoT 프롬프트를 사용하여 i.i.d.(독립 동일 분포)로 $k$ 개 사고를 독립 샘플링한다. 사고 공간이 풍부하고 다양성이 필요할 때 적합하다. Creative Writing처럼 자유도가 높은 과제에서 사용한다.
Propose 전략: 하나의 LLM 호출로 순차적으로 $k$ 개 후보를 한꺼번에 제안한다. 사고 공간이 제한적일 때(예: Game of 24에서 가능한 수식이 한정적) 중복을 피하면서 효율적으로 후보를 생성한다.

Game of 24에서의 Propose 전략 프롬프트 예시:

Input: 2 8 8 14
Possible next steps:
2 + 8 = 10 (left: 8 10 14)
8 / 2 = 4 (left: 4 8 14)
14 + 2 = 16 (left: 8 8 16)
14 - 8 = 6 (left: 2 6 8)
14 / 2 = 7 (left: 7 8 8)

축 3: State Evaluator $V(p_\theta, S)$

상태 집합 $S$ 의 각 상태가 얼마나 유망한지 평가하는 함수로, 외부 모듈 없이 LLM 자체를 휴리스틱 평가기로 활용한다. 두 가지 전략이 있다.

Value 전략: 각 상태 $s$ 를 독립적으로 평가하여 스칼라 값 또는 분류(sure / likely / impossible)를 부여한다. Game of 24에서 남은 숫자로 24를 만들 수 있는지 판단하는 데 사용된다.

Value 프롬프트 예시:

Evaluate if given numbers can reach 24 (sure/likely/impossible)
10 14
10 + 14 = 24
sure

11 12
11 + 12 = 23, 12 - 11 = 1, 11 * 12 = 132, 11 / 12 = 0.91
impossible

Vote 전략: 여러 상태를 비교하여 "가장 유망한 것에 투표"하는 방식이다. Creative Writing처럼 절대 평가가 어려운 과제에서 상대 비교가 더 효과적이다.

축 4: Search Algorithm (탐색 알고리즘)

트리 구조에서 어떤 순서로 노드를 확장할지 결정한다.

BFS (너비 우선 탐색): 각 단계에서 가장 유망한 $b$ 개 상태만 유지하며 다음 단계로 확장한다. 트리 깊이가 제한적이고 각 단계의 평가가 중요한 과제에 적합하다.

Algorithm: ToT-BFS
입력: LM p_θ, 프롬프트 x, 깊이 T, 너비 b
S_0 ← {x}
for t = 1 to T:
    S'_t ← {[s, z] : s ∈ S_{t-1}, z ∈ G(p_θ, s, k)}  // 후보 확장
    V_t ← V(p_θ, S'_t)                                  // 각 후보 평가
    S_t ← arg top-b(S'_t, V_t)                          // 상위 b개만 유지
return G(p_θ, S_T, 1)                                    // 최종 답 생성

DFS (깊이 우선 탐색): 유망한 경로를 끝까지 탐색하되, 평가값이 임계치 $v_{th}$ 이하이면 가지치기(pruning)하고 부모 노드로 백트래킹한다. 탐색 트리가 깊고 각 노드에서 빠른 판단이 가능한 과제에 적합하다.

Algorithm: ToT-DFS
입력: LM p_θ, 프롬프트 x, 깊이 T, pruning 임계치 v_th
함수 DFS(s, t):
    if t > T: record output G(p_θ, s, 1); return
    for z in G(p_θ, s, k):
        v ← V(p_θ, [s, z])
        if v > v_th:
            DFS([s, z], t+1)
DFS(x, 1)
return 최선 출력

$v_{th}$ (pruning threshold)는 impossible로 판정된 경로를 조기에 차단하여 불필요한 탐색을 줄이고 API 호출 비용을 절감하는 역할을 한다.

2.3 ToT의 4가지 구조적 장점

일반성(Generality): IO, CoT, CoT-SC, Self-Refine이 모두 특수 사례로 포함되는 범용 프레임워크
모듈성(Modularity): 사고 분해, 생성, 평가, 탐색의 4개 모듈이 독립적이어서 과제별로 조합 가능
적응성(Adaptability): 과제 특성에 맞게 사고 단위 크기, 생성 전략, 평가 전략, 탐색 알고리즘을 자유롭게 선택
편의성(Convenience): 별도 학습(fine-tuning) 없이 사전훈련된 LLM만으로 구현 가능하며, 프롬프트 설계만으로 동작

3. 실험 결과 및 분석

3.1 Game of 24

태스크 개요. 주어진 4개의 숫자에 사칙연산(+, −, ×, ÷)을 적용하여 결과가 24가 되는 수식을 만드는 수학 퍼즐이다. 4nums.com에서 수집한 1,362개 문제 중 901~1,000번(총 100개, 난이도 상위 구간)을 사용했다.

사고 분해 설계. 각 사고 단위는 하나의 중간 수식이다. 4개 숫자에서 출발해 3단계를 거치면 최종 하나의 숫자가 남고, 그것이 24이면 성공이다. 예시:

1단계: 1 + 2 = 3 → 남은 숫자 3, 3, 4
2단계: 3 × 4 = 12 → 남은 숫자 3, 12
3단계: 12 + 3 = 15 (실패) → 백트래킹하여 다른 경로 탐색

생성·평가·탐색 전략. Propose 전략으로 후보를 생성하고, Value 전략(sure / maybe / impossible 3등급, 동일 상태 3회 샘플링 다수결)으로 평가하며, BFS(너비 $b=5$ )로 탐색한다.

핵심 결과.

방법	성공률
IO	7.3%
CoT	4.0%
CoT-SC (k=100)	9.0%
IO + Refine (최대 10회, 정답 피드백 사용)	27%
IO best-of-100 (오라클 기준)	33%
CoT best-of-100 (오라클 기준)	49%
ToT (b=1, greedy)	45%
ToT (b=5)	74%

CoT가 IO보다 오히려 낮은 성공률(4.0% vs 7.3%)을 기록한 원인. CoT의 좌→우 순차 생성 특성 때문이다. 초기 단계에서 잘못된 연산을 선택하면 이후 단계에서 복구가 불가능하며, 실제 CoT 실패 사례의 약 60%가 첫 번째 연산 단계 시점에서 이미 24에 도달 불가능한 상태에 진입한다.

IO + Refine이 외부 정답 정보를 사용하면서도 27%에 그친 이유. 단일 경로 내에서의 반복 수정이 근본적으로 다중 경로 탐색을 대체할 수 없음을 시사한다. 한 경로의 오류를 고치는 것보다 처음부터 다른 경로를 시도하는 것이 효과적인 과제가 존재한다.

스케일 분석. 탐색에 사용된 총 노드 수(LM 호출 횟수에 비례)를 x축, 성공률을 y축으로 놓으면, ToT는 적은 노드 수에서도 가파르게 성공률이 상승한다. CoT는 샘플 수를 100개까지 늘려도(best-of-100 = 49%) ToT( $b=5$ )의 74%에 도달하지 못하며, ToT( $b=5$ )의 연산량은 단일 CoT 대비 약 5.5배에 불과하다. 동일 연산 예산 대비 ToT의 효율이 압도적으로 높다.

3.2 Creative Writing

태스크 설계. 4개의 무작위 문장이 각 문단의 마지막 문장으로 고정된 상태에서, 전체적으로 일관성(coherence) 있는 4문단 글을 작성하는 과제다. 총 100개의 입력이 주어지며, 정해진 정답이 없는 개방형(open-ended) 태스크라는 점에서 Game of 24와 근본적으로 다르다.

ToT 구조: 얕은 트리 + Sample-Vote 전략. 깊이 2, 너비 1( $b=1$ )의 매우 얕은 트리를 사용한다. 사고 단위는 짧은 작문 계획(writing plan)이다.

Plan 생성(Sample): 동일 프롬프트로 $k=5$ 회 독립 호출하여 5개의 작문 계획 생성
Plan 선택(Vote): 5개 계획을 LLM에 보여주고 투표를 5회 반복하여 최다 득표 계획 선택
글 작성: 선택된 계획 기반으로 실제 4문단 글 생성

Game of 24의 순차적 생성 + 상태 평가(Value)와 달리, 독립 샘플링 + 투표(Vote) 조합을 채택한 이유는, 개방형 태스크에서는 절대 평가보다 후보 간 상대 비교가 더 적합하기 때문이다.

평가 방법.
- GPT-4 자동 평가: 1~10점 척도로 coherence를 평가하며, 각 글에 대해 5회 반복 평가한 평균을 사용한다. 표준편차가 약 0.56으로 안정적이다.
- 인간 블라인드 평가: 두 방법의 출력을 익명으로 제시하고 비교 판정한다.

방법	GPT-4 점수 (1-10)
IO (직접 생성)	6.19
CoT (사고 연쇄)	6.93
ToT (트리 탐색)	7.56
IO + Iterative Refine	7.67
ToT + Iterative Refine	7.91

인간 블라인드 비교	건수
ToT 승	41
CoT 승	21
동등	38

반복 정제(Iterative Refinement)와의 결합. IO는 정제로 +1.48 향상(6.19→7.67)되지만, ToT는 +0.35(7.56→7.91)에 그친다. ToT가 이미 계획 단계에서 품질을 끌어올렸기 때문에 정제의 추가 개선 여지가 줄어드는 수확 체감(diminishing returns) 현상이 나타난다. 반복 정제는 ToT의 제3의 사고 생성 전략으로도 해석 가능하다. (1) i.i.d. 독립 샘플링, (2) sequential 순차 생성에 더해, (3) 이전 출력을 입력으로 받아 개선하는 iterative 방식이 된다.

인간 평가에서 동등 판정 38건. 100건 중 약 4할에서 ToT의 추가 계산이 체감 가능한 품질 차이를 만들지 못했다. 개방형 태스크에서 트리 탐색의 효용에는 구조적 상한이 존재한다.

3.3 Mini Crosswords (5×5 미니 십자말풀이)

태스크 설정. 가로 5개 + 세로 5개 = 총 10개 단서로부터 25개 글자를 채워야 한다. GooBix 퍼즐 사이트에서 수집한 156개 게임 중 20개를 테스트에 사용했다. ToT 실험 중 가장 깊은 탐색을 요구하며, 최대 10개의 중간 단계를 거치고 총 탐색 스텝은 100으로 제한된다.

탐색 전략: DFS + 가지치기 + 백트래킹. Game of 24(BFS)와 달리 DFS를 채택한 이유는, 탐색 깊이가 최대 10단계로 깊고 중간 상태에서 경로 불가능 판정이 가능하기 때문이다.

Proposal(후보 생성): 각 단서에 대해 LLM이 5회 독립적으로 후보 단어를 생성한다. 동일 단어의 출현 빈도를 기준으로 우선순위 큐를 구성하여, 신뢰도가 높은 단어부터 시도한다.
Value(상태 평가): 현재 격자 상태를 LLM이 평가하여, 나머지 빈 단서들에 유효한 단어를 채울 수 없다고 판정하면 해당 경로를 가지치기한다.
백트래킹: 가지치기로 현재 경로가 차단되면, 가장 최근 선택을 되돌리고 우선순위 큐에서 다음 후보를 꺼내 탐색을 재개한다.

핵심 결과.

방법	Letter %	Word %	Game %
IO	38.7	14	0
CoT	40.6	15.6	1
ToT	78	60	20
ToT (Oracle)	82.4	67.5	35
ToT (-prune)	65.4	41.5	5
ToT (-backtrack)	54.6	20	5

Letter/Word/Game: 각각 25개 글자 중 정답 비율, 10개 단어 중 정답 비율, 20개 게임 중 완전 정답 비율
Oracle: 각 단계에서 정답과 가장 가까운 후보를 선택하는 이론적 상한
-prune / -backtrack: 각각 가지치기 / 백트래킹 제거 ablation

Oracle vs 실제 성능 격차. Oracle(game 성공률 35%) 대비 LLM 휴리스틱(20%)은 약 57% 수준이다. 탐색 알고리즘 자체보다 출력 선택 휴리스틱의 품질이 병목임을 시사하며, 더 나은 평가 함수를 설계하면 추가 성능 향상이 가능하다.

백트래킹 제거 시 극심한 성능 붕괴. 백트래킹을 제거하면 word 성공률이 60%→20%로 급락한다. 이는 greedy BFS( $b=1$ )와 동일한 상황으로, 십자말풀이처럼 제약 전파(constraint propagation)가 강한 태스크에서 백트래킹이 필수적임을 보여준다.

LLM의 어휘 한계. 실험 중 GPT-4가 AGEND와 같은 고어(archaic word)를 인식하지 못하는 사례가 관찰되었다. LLM의 학습 코퍼스에 희귀 단어가 충분히 포함되지 않으면 근본적으로 풀 수 없는 단서가 존재하며, 외부 사전 검색이나 웹 상호작용으로 LLM의 내부 지식을 보강해야 할 필요성을 보여준다.

3.4 모델 스케일 및 추가 실험

GPT-4 zero-shot ToT (GSM8K / StrategyQA). CoT만으로도 높은 정확도를 달성하는 태스크에서 ToT는 소폭 개선에 그친다.

태스크	IO	CoT	ToT
GSM8K (초등 수학)	51	86	90
StrategyQA (상식 질문)	73	82	83

GSM8K에서 CoT 86 → ToT 90으로 +4 개선에 불과하며, StrategyQA는 +1(82→83)로 거의 무의미하다. 이는 CoT로 충분한 태스크에 ToT를 적용하면 비용 대비 이득이 정당화되지 않는다는 점을 실증한다.

GPT-3.5 실험.

태스크	IO	CoT	ToT
Game of 24	6%	3%	19%
Creative Writing	4.47	5.16	6.62

GPT-3.5에서 Game of 24 CoT(3%)가 IO(6%)보다 낮은 것은, 약한 모델에서 CoT가 잘못된 추론 경로를 장황하게 전개하여 오히려 오류를 누적시키는 현상이다. ToT는 이를 19%까지 끌어올렸지만, GPT-4의 74%에 비하면 여전히 낮다. GPT-3.5는 평가 정확도가 낮아 maybe를 과다 생성하는 경향이 있으며, 이것이 GPT-4 대비 낮은 성공률의 주요 원인이다.

4. 한계 및 역효과

4.1 계산 비용 폭증

ToT는 각 노드에서 여러 사고를 생성하고 각각을 평가해야 하므로, LM API 호출 횟수가 IO/CoT 대비 수십~수백 배 증가한다. Game of 24에서 BFS 너비 5 × 3단계만으로도 단일 문제당 수십 회의 LM 호출이 필요하며, Mini Crosswords에서는 각 스텝마다 5회 proposal + value 평가로 단일 게임당 수백 회에 달한다. 비용과 지연(latency)이 실용적 병목이 된다.

4.2 단순 태스크에서의 과잉 설계

System 1으로 충분히 해결 가능한 문제(단순 산술, 사실 검색 등)에 ToT를 적용하면 불필요한 탐색으로 동일한 성능에 비용만 증가한다. GSM8K(+4), StrategyQA(+1)의 미미한 개선이 이를 실증한다. ToT는 "숙고적(deliberate) 추론이 필요한 태스크"에 한정해야 효과적이다.

4.3 LLM 자체 평가의 불안정성

State Evaluator가 LLM에 의존하므로, LLM이 잘못된 평가를 내리면 유망한 경로가 가지치기되거나 잘못된 경로가 확장된다. Mini Crosswords에서 가지치기를 제거한 ablation(-prune)에서 전체 성능은 word 60%→41.5%로 하락했지만, 가지치기가 있을 때 풀지 못했던 게임 3개를 오히려 풀었다. 이는 LLM 기반 가지치기 판정이 불완전하여 실제로는 유망한 경로를 impossible로 잘못 판정해 차단하는 경우가 있음을 의미한다.

4.4 사고 분해의 과제 종속성

사고 단위 크기를 과제마다 수동으로 설계해야 하며, 잘못된 분해는 성능을 크게 저하시킨다. 너무 작은 단위는 평가가 불가능하고, 너무 큰 단위는 탐색 이점이 사라진다. 범용적으로 사고 단위를 자동 결정하는 메커니즘은 제시되지 않았다.

4.5 모델 스케일 의존성

보고된 핵심 수치는 GPT-4 급 대형 모델 기준이다. GPT-3.5에서는 Game of 24 성공률이 74%→19%로 급감하며, 사고 생성의 다양성과 평가 정확도가 모두 떨어져 트리 탐색 자체가 저품질 노드들 사이를 헤매는 결과를 낳는다. ToT의 효과는 기반 모델의 능력에 크게 의존한다.

4.6 Propose 전략의 고정 편향

하나의 LLM 호출로 $k$ 개 후보를 순차 생성하면, 앞서 생성된 후보가 뒤의 후보에 영향을 주어(anchoring bias) 진정한 다양성이 확보되지 않을 수 있다. Sample 전략은 이를 피하지만 중복 생성 위험이 있다.

4.7 DFS의 pruning 임계치 민감도

$v_{th}$ 가 너무 높으면 유망한 경로도 조기 차단되고, 너무 낮으면 불필요한 경로까지 탐색하여 비용이 증가한다. 최적 $v_{th}$ 는 과제와 LLM 성능에 따라 달라지며, 체계적인 설정 방법이 부재하다.

4.8 GPT-4 자동 평가의 자기 편향

Creative Writing에서 생성과 평가를 동일 모델(GPT-4)이 수행하므로, 자기 출력 스타일에 높은 점수를 부여하는 편향 가능성이 있다. 인간 평가와 방향이 일치하긴 하나, 절대 점수의 신뢰성은 제한적이다.

4.9 형식화와 실제 추론 사이의 간극

$p_\theta$ 표기는 모델이 각 토큰을 조건부 확률에 따라 정확히 샘플링한다고 가정하지만, 실제로는 temperature, top-k, nucleus sampling 등 디코딩 전략에 따라 분포가 크게 변형된다. 형식화가 전제하는 이상적 샘플링과 실제 추론 사이에 간극이 존재한다.

5. 관련 연구 및 위치

ToT는 기존 연구를 네 가지 범주로 정리하며 자신의 위치를 명확히 한다.

5.1 Planning / Decision Making

LLM의 계획 수립 능력을 활용하는 연구 흐름이다. RAP(Reasoning via Planning)은 ToT와 동시기에 발표된 연구로, MCTS(Monte Carlo Tree Search, 무작위 시뮬레이션 기반 트리 탐색 알고리즘)를 LLM 추론에 적용한다. 그러나 RAP은 ToT에 비해 평가 태스크가 더 단순하고, 사고 생성·평가·탐색을 모듈로 분리하는 설계가 부족하다. ToT는 BFS/DFS만 실험했으며, MCTS를 사용하는 RAP과의 탐색 효율성 직접 비교는 없다.

5.2 Self-reflection

Reflexion, Self-Refine 등 LLM이 자기 출력을 되돌아보며 개선하는 연구 흐름이다. Self-eval guided decoding은 PAL(Program-Aided Language Models) 기반으로, LLM 출력을 코드 표현으로 변환한 뒤 실행 기반 검증으로 디코딩을 유도한다. 코드로 표현 가능한 태스크(수학, 코딩)에서는 실행 기반 검증이 ToT의 자연어 평가보다 신뢰도가 높을 수 있으나, Creative Writing 같은 자유 형식 텍스트 생성에는 적용할 수 없다. ToT는 자연어 사고 단위를 직접 평가하므로 태스크 유형에 제약이 없지만, 이 범용성은 평가 정확도의 트레이드오프를 수반한다.

5.3 Program-guided LLM

외부 알고리즘이 전체 흐름을 제어하고 LLM을 서브루틴으로 내장하는 접근이다. LLM+P가 대표적으로, 고전적 플래너(classical planner)에 LLM을 결합한다. ToT도 외부 탐색 알고리즘을 사용하지만, 사고 생성과 평가 모두 LLM이 수행한다는 점에서 LLM의 자율성이 더 높다.

5.4 Classical Search

A 알고리즘, NeuroLogic Aesque 디코딩 등 고전적 탐색을 텍스트 생성에 적용한 연구다. ToT는 토큰 수준이 아닌 LLM 수준의 "사고" 단위로 탐색을 끌어올린 것으로 볼 수 있다.

6. 미래 방향

ToT 스타일 fine-tuning: 트리 탐색 과정에서 생성된 반사실적 의사결정(counterfactual decision making — "다른 경로를 선택했다면?") 데이터를 학습에 활용하여, 추론 시 트리 탐색 없이도 더 나은 추론이 가능한 모델을 만드는 것
고급 탐색 알고리즘 적용: A*(휴리스틱 기반 최단 경로 탐색), MCTS(시뮬레이션 기반 트리 탐색) 등 현재 BFS/DFS를 넘어서는 탐색 전략
복잡한 실세계 태스크: 코딩, 데이터 분석, 로봇 제어 등으로의 확장
외부 도구 통합: Mini Crosswords에서 드러난 LLM 내부 지식의 한계를 사전 API, 웹 검색 등 외부 도구 연동으로 보강

7. 종합 요약

ToT(Tree of Thoughts)는 LLM의 추론 과정을 트리 탐색으로 구조화하여, 기존 IO/CoT/CoT-SC/Self-Refine 방법들을 모두 특수 사례로 포괄하는 일반 프레임워크다. 사고 분해·생성·평가·탐색의 4개 독립 모듈을 과제별로 조합할 수 있으며, 별도 학습 없이 사전훈련된 LLM만으로 동작한다.

Game of 24에서 CoT 4% → ToT 74%, Mini Crosswords word 성공률 15.6% → 60%로 숙고적 추론이 필요한 태스크에서 대폭 개선을 달성했다. 그러나 CoT로 충분한 태스크(GSM8K, StrategyQA)에서는 이득이 미미하며, API 비용 증가·LLM 평가 불안정성·사고 분해의 수동 설계·모델 스케일 의존성 등 실용적 한계가 존재한다.

핵심 기여는 "LM이 스스로 사고를 생성하고 평가하며 전략적으로 탐색"할 수 있다는 개념적 전환에 있으며, 이후 MCTS 적용(RAP), fine-tuning 기반 내재화, 외부 도구 통합 등의 후속 연구로 이어지고 있다.

태스크	IO	CoT	ToT	개선 배율 (CoT→ToT)
Game of 24 (GPT-4)	7.3%	4.0%	74%	18.5x
Creative Writing (GPT-4)	6.19	6.93	7.56	1.09x
Crosswords Word% (GPT-4)	14%	15.6%	60%	3.85x
Game of 24 (GPT-3.5)	6%	3%	19%	6.3x
GSM8K (GPT-4)	51	86	90	1.05x

참고: 핵심 선행 연구

Chain-of-Thought Prompting (CoT): LLM에게 중간 추론 단계를 명시적으로 생성하도록 유도하는 프롬프팅 기법. ToT에서 깊이 N, 너비 1의 특수 사례에 해당한다.
Self-Consistency (CoT-SC): CoT를 여러 번 독립 샘플링하여 다수결 투표로 최종 답을 선택하는 기법. 경로 간 상호작용이 없다는 한계를 가진다.
Self-Refine: LLM이 자기 출력을 반복적으로 평가·수정하는 기법. 단일 경로 내 반복 수정으로, 대안 경로 탐색이 불가능하다.
RAP (Reasoning via Planning): MCTS를 LLM 추론에 적용한 동시기 연구. ToT와 유사한 방향이나 모듈 분리 설계가 부족하다.
PAL (Program-Aided Language Models): LLM 출력을 프로그램 코드로 변환하여 실행 기반 검증을 수행하는 접근. 코드 표현 가능 태스크에 한정된다.
Newell-Simon 문제 공간 이론 (1972): 문제 해결을 초기 상태에서 목표 상태까지의 경로 탐색으로 정의하는 인지과학 이론. ToT의 설계 철학적 근거다.

Reflexion: language agents with verbal reinforcement learning

urban-dandelion — Mon, 4 May 2026 21:35:30 +0900

type: paper
source: https://arxiv.org/abs/2303.11366

Reflexion: language agents with verbal reinforcement learning

항목	내용
저자	Noah Shinn, Federico Cassano, Beck Labash, A. Gopinath, Karthik Narasimhan, Shunyu Yao
연도	2023
arXiv	2303.11366
분야
인용 수	3033 (Semantic Scholar 기준)

1. 배경 및 문제 정의

기존 LLM 에이전트는 실패로부터 학습하려면 모델 가중치를 업데이트(fine-tuning)해야 했다. 이 방식은 세 가지 근본적 제약을 안고 있다. 첫째, 대규모 학습 데이터셋이 필요하여 비용이 크다. 둘째, 모델 가중치에 직접 접근할 수 없는 API 전용 모델에서는 적용 자체가 불가능하다. 셋째, 매번 전체 파라미터를 갱신해야 하므로 소규모 태스크 단위의 경량 학습이 어렵다.

인간은 실패 후 "왜 틀렸는지"를 언어로 반추(verbal reflection)하여 다음 시도에 반영한다. 그러나 LLM 에이전트에는 이러한 자기 반성 메커니즘이 부재했다. Reflexion은 이 간극을 메우기 위해 제안된 프레임워크로, 언어적 강화(verbal reinforcement)를 핵심 원리로 삼는다. 스칼라 보상(scalar reward, 숫자 하나로 표현되는 보상 신호) 대신 자연어 피드백을 생성하여 에피소딕 메모리(episodic memory, 과거 경험을 저장하는 슬라이딩 윈도우 버퍼)에 축적하고, 후속 시도의 프롬프트에 주입한다. 모델 가중치는 고정된 채로, 프롬프트 컨텍스트만 변경하여 행동을 개선하는 것이 핵심이다.

2. 핵심 기여

Reflexion은 네 가지 기여를 제시한다.

Reflexion 패러다임: 가중치 업데이트 없이 자연어 반성만으로 에이전트가 학습하는 새로운 접근법
자기 반성의 창발적 속성 입증: 충분히 큰 LLM에서 자기 반성 능력이 자연스럽게 나타남을 실험으로 확인
LeetcodeHardGym 벤치마크 공개: 기존 벤치마크보다 난이도 높은 코드 생성 평가셋 제공
HumanEval SOTA 달성: 91% pass@1로 당시 최고 성능 기록

프레임워크의 장점은 다음 네 가지로 요약된다.

경량성: fine-tuning 없이 프롬프트만 변경하므로 API 전용 모델에서도 즉시 적용 가능
세밀한 피드백: 스칼라 보상 대신 자연어로 구체적 개선 방향을 제시
해석 가능한 메모리: 메모리 내용이 자연어이므로 사람이 직접 읽고 디버깅 가능
명시적 행동 지침: 다음 시도에 대한 구체적 수정 방향을 포함

3. 아키텍처

3.1 세 모듈 구조

Reflexion은 세 개의 독립 모듈로 구성된다.

Actor ( $M_a$ ): LLM 기반 행동 생성기로, 환경 관찰 $o_t$ 를 입력받아 행동 $a_t$ 를 출력한다. 내부적으로 Chain-of-Thought(단계적 사고) 또는 ReAct(추론+행동 교차) 프롬프팅을 사용한다. 핵심은 Actor가 단독으로 정책을 구성하지 않는다는 점이다. 정책은 $\pi_\theta$ 로 표현되며, $\theta = \{M_a, \text{mem}\}$ 으로 매개변수화된다. 즉, Actor의 가중치와 메모리 내용을 합쳐서 하나의 정책으로 본다. 가중치는 고정된 채 메모리만 갱신되므로, 역전파(backpropagation) 없이 정책이 개선된다.

이 정책 매개변수화는 이론적으로 중요하다. 전통적 강화학습에서 정책은 신경망 가중치로만 정의되지만, Reflexion에서는 "고정된 LLM + 변하는 메모리"가 정책이다. 이는 문맥 내 학습(in-context learning)의 일종으로, 프롬프트에 포함되는 정보를 바꿔서 행동을 변화시키는 메커니즘이다.

Evaluator ( $M_e$ ): Actor가 생성한 궤적(trajectory, 행동의 연속 기록)을 평가하여 스칼라 보상 $r_t$ 를 산출한다. 도메인에 따라 평가 방식이 달라진다.

평가 방식	설명	적용 도메인
정확 매칭(EM)	정답과 출력을 문자열 비교	QA 태스크
휴리스틱 함수	환경 제공 규칙 기반 점수	의사결정 태스크
LLM 기반 평가	별도 LLM이 출력 품질 판정	정답 불명확 태스크

Self-Reflection ( $M_{sr}$ ): Reflexion의 핵심 차별 모듈이다. Evaluator의 스칼라 보상을 자연어 피드백으로 변환한다. 단순히 "실패"라는 신호 대신, "2단계에서 검색 쿼리가 너무 광범위했고, 특정 연도로 한정했어야 했다"와 같은 구체적 진단을 생성한다. 이 자연어 반성이 장기 메모리에 저장된다.

3.2 이중 메모리 구조

메모리는 두 계층으로 분리된다.

단기 메모리(Short-term memory): 현재 에피소드의 궤적 전체 ( $\tau = [o_0, a_0, r_0, \ldots, o_n, a_n, r_n]$ ). 매 에피소드마다 초기화된다. Actor가 현재 시도의 맥락을 유지하는 데 사용한다.
장기 메모리(Long-term memory): 과거 시도들에서 생성된 자기 반성 텍스트의 목록. 에피소드 간 유지되며, 슬라이딩 윈도우 방식으로 최대 $\Omega$ 개(보통 1~3개)까지 보관한다.

구성 요소	메모리 상한 $\Omega$	비고
장기 메모리	1~3	슬라이딩 윈도우
단기 메모리	제한 없음 (현재 에피소드)	매 시도마다 초기화

$\Omega$ 를 작게 설정하는 이유는 LLM의 컨텍스트 윈도우 제한과, 오래된 반성이 현재 상태와 무관해질 수 있기 때문이다.

3.3 반복 최적화 루프

Algorithm 1: Reflexion
────────────────────────────────────────
입력: Actor M_a, Evaluator M_e, Self-Reflection M_sr
      메모리 상한 Ω, 최대 시도 횟수 max_trials
초기화: mem ← []

for trial = 1 to max_trials do
    1. 궤적 생성:
       τ ← M_a(환경, mem)          # Actor가 메모리 참조하여 행동 생성
    2. 평가:
       r ← M_e(τ)                  # Evaluator가 궤적 채점
    3. 성공 여부 확인:
       if r == 성공 then return τ   # 성공 시 종료
    4. 자기 반성 생성:
       sr ← M_sr(τ, r)             # 실패 원인을 자연어로 진단
    5. 메모리 갱신:
       mem ← mem + [sr]            # 반성을 메모리에 추가
       if |mem| > Ω then
           mem ← mem의 최근 Ω개만 유지  # 슬라이딩 윈도우
end for

이 루프의 핵심은 기울기(gradient) 계산이 전혀 없다는 점이다. 전통적 강화학습이 $\theta \leftarrow \theta - \alpha \nabla L$ 로 가중치를 업데이트하는 것과 달리, Reflexion은 $\text{mem} \leftarrow \text{mem} \cup \{sr\}$ 로 메모리만 갱신하여 정책을 개선한다.

3.4 모듈 입출력 예시

Actor 입력 (ReAct 스타일):

이전 반성(장기 메모리):
- "이전 시도에서 'pick up' 전에 대상 물체의 위치를 확인하지 않아 실패했다.
   먼저 goto로 이동한 뒤 pick up을 실행해야 한다."

현재 관찰: 당신은 방 한가운데 있습니다. 책상 위에 열쇠가 보입니다.
태스크: 열쇠를 서랍에 넣으세요.

Actor 출력:

Thought: 이전 반성을 참고하면, 먼저 물체 위치로 이동해야 한다.
Action: goto desk 1
Observation: 책상 위에 열쇠 1이 있습니다.
Action: pick up key 1

Self-Reflection 출력:

"drawer 2로 이동했지만 실제로 열어야 할 서랍은 drawer 3이었다.
 open 명령의 대상을 현재 위치의 서랍과 일치시켜야 한다.
 다음 시도에서는 goto drawer 3 → open drawer 3 → put key 1 in drawer 3 순서로 실행할 것."

4. 관련 연구 비교

4.1 추론 및 의사결정 영역

Self-refine은 LLM이 자신의 출력을 반복 개선하는 방식이지만, 외부 환경의 숨겨진 제약(hidden constraints, 사전에 명시되지 않은 환경 규칙)을 처리하지 못하고 이진 보상(binary reward, 성공/실패만 알려주는 신호)에서 작동하지 않는다. Beam search 기반 접근은 자기 정제와 숨겨진 제약 대응 능력을 갖추고 여러 후보를 동시에 탐색하지만, 실패 경험을 메모리에 축적하는 메커니즘이 없어 동일한 실수를 반복할 수 있다.

Reflexion은 다섯 가지 속성을 모두 갖춘 유일한 프레임워크다.

방법론	자기 정제	숨겨진 제약	순차적 의사결정	이진 보상	메모리
Self-refine	O	X	X	X	X
Beam search	O	O	O	O	X
Reflexion	O	O	O	O	O

AlfWorld에서 "책상 위 펜을 찾아라" 태스크 실패 시, Reflexion 에이전트는 "이전 시도에서 책상 위만 확인했지만 서랍을 열어보지 않았다. 다음에는 서랍을 먼저 열어 내부를 확인해야 한다"와 같은 자기 반성을 생성한다. 이 반성이 메모리에 저장되어 다음 에피소드의 프롬프트에 추가된다. Self-refine은 이런 메모리 축적 없이 현재 출력만 반복 수정하므로 에피소드 간 학습이 불가능하다.

4.2 프로그래밍 영역

방법론	테스트 실행	디버깅	자체 테스트 생성	다중 언어	자기 반성
AlphaCode	O	X	X	O	X
CodeT	O	X	O	X	X
Self-Debugging	O	O	X	X	X
CodeRL	O	O	X	X	X
Reflexion	O	O	O	O	O

AlphaCode는 수백만 개 후보를 생성한 뒤 클러스터링으로 해를 찾으며, 대규모 샘플링에 의존하므로 연산 비용이 극히 높다. CodeT는 LLM 자체 생성 테스트로 후보를 필터링하지만 반복 개선이 없다. Self-Debugging은 코드 실행 결과를 보고 수정하지만 주어진 테스트에만 의존한다. CodeRL은 강화학습 보상 모델을 사용하지만 자연어 수준의 반성이 부재하다.

Reflexion은 테스트 실행, 디버깅, 자체 테스트 생성, 다중 언어 지원, 자기 반성을 모두 갖춘 유일한 접근법이다.

5. 실험 결과

5.1 의사결정: AlfWorld

AlfWorld는 텍스트 기반 가상 가정환경에서 에이전트가 물건을 찾고, 이동하고, 조작하는 태스크다. 총 134개 환경이 6종 태스크 유형(Pick, Clean, Heat, Cool, Examine, Pick Two)으로 구성된다.

자기 평가 메커니즘. 두 가지 방식이 비교된다.

휴리스틱 자기 평가: 동일한 행동을 3회 연속 반복하거나, 총 행동 수가 30을 초과하면 "실패"로 판정하고 반성을 트리거한다. LLM 호출 없이 규칙만으로 작동하므로 비용이 없다.
GPT 자기 평가: GPT-3가 궤적 전체를 읽고 성공/실패를 판단한다. 더 유연하지만 비용이 발생한다.

실험 결과 휴리스틱 방식이 충분히 효과적이었다.

성능 결과:

방법	완료 수 (/134)	완료율	비고
ReAct (baseline)	~103	~77%	시도 6-7회차에서 정체
ReAct + Reflexion	130	~97%	12회 시도 기준

지표	값
Baseline 환각율(hallucination rate)	22%
개선 폭	~22%p
초기 급등 구간	시도 1→2회차
Baseline 정체 구간	시도 6-7회차
미완료 태스크	4/134

학습 곡선 패턴. 12회 시도에 걸친 학습 곡선에서 두 가지 뚜렷한 패턴이 관찰된다. 첫째, 첫 2회 시도에서 완료율이 급격히 상승한다. 첫 실패에서 얻은 반성이 가장 정보량이 높기 때문이다. "어디를 찾아봤는데 없었다"는 정보가 다음 시도의 탐색 범위를 즉시 좁혀준다. 둘째, 시도 3~11회차에서 느리지만 꾸준히 개선된다. 반면 baseline은 시도 6~7회차에서 정체하며, 환각율이 약 22%에 수렴한다. 즉, baseline은 아무리 많은 시도를 해도 약 1/5의 태스크에서 환각에 의한 실패를 극복하지 못한다.

장기 메모리 활용 패턴.

패턴 1 — 단일 에피소드 깊은 분석: 한 번의 긴 시도(예: 30 action) 내에서 초기에 잘못된 방향으로 간 지점을 반성이 정확히 짚어내고, "처음부터 다른 위치를 먼저 확인하라"는 구체적 대안 계획을 제시한다.
패턴 2 — 다중 에피소드 탐색 기억 축적: 시도 1에서 "desk 1, desk 2를 확인했지만 목표 물체 없음", 시도 2에서 "shelf 1, shelf 2도 없음"과 같이 탐색 결과가 누적되면, 시도 3에서는 미확인 위치만 남아 효율적 탐색이 가능해진다.

구체적 예시: mug + desklamp 태스크.

태스크 목표는 "mug을 desklamp 아래에서 관찰하라"이다.

시도 1 (실패):

Think: mug을 찾아야 한다. desk 1을 확인하자.
Act:   go to desk 1
Obs:   On desk 1, you see a mug 1, a pen 2, ...
Act:   take mug 1 from desk 1
Obs:   You pick up mug 1 from desk 1.
Think: 이제 desklamp를 찾아야 한다. desk 2로 가보자.
Act:   go to desk 2
Obs:   On desk 2, you see a desklamp 1, a book 3, ...
Act:   use desklamp 1
Obs:   Nothing happens.
Act:   use desklamp 1    [동일 행동 반복 → 실패 판정]

자기 반성:

mug을 desk 1에서 집은 뒤 desk 2의 desklamp로 이동하여 사용하려 했지만 실패했다.
다음에는 desklamp가 있는 위치를 먼저 파악하거나, mug이 이미 desklamp와 같은 위치에
있다면 그 자리에서 바로 사용해야 한다.

시도 2 (성공):

[메모리에 시도 1의 반성이 로드된 상태]
Think: 이전 반성을 참고하면, mug을 집은 위치에서 바로 desklamp를 사용해야 한다.
Act:   go to desk 1
Obs:   On desk 1, you see a mug 1, a desklamp 1, a pen 2, ...
       [실제로 desk 1에 둘 다 있었지만, 시도 1에서는 desklamp 존재를 간과]
Act:   take mug 1 from desk 1
Act:   use desklamp 1
Obs:   Task completed!

이 예시는 반성이 실패의 근본 원인(위치 이동 후 사용 불가)을 정확히 진단했고, 이를 바탕으로 시도 2에서 전략 자체를 변경(같은 위치에서 모든 조작 수행)하여 성공한 과정을 보여준다.

5.2 추론: HotPotQA

HotPotQA는 다중 문서를 조합해 답해야 하는 멀티홉 질의응답 벤치마크로, 113k 문제 중 100문제를 샘플링하여 평가했다. 평가 지표는 정확 매칭(EM, 모델 출력과 정답이 문자열 수준에서 정확히 일치하는지 판정)이다.

세 가지 Actor 설정:

CoT (Chain-of-Thought): 질문만 입력으로 받아 6-shot 예시를 참고하며 모델 내부 지식만으로 답한다.
CoT GT (Ground Truth context): 질문과 함께 정답 도출에 필요한 실제 지원 문서를 제공한다. 검색 오류를 제거하고 순수 추론 능력만 측정하는 상한선(oracle) 역할이다.
ReAct: Wikipedia API를 통해 실시간 검색-관찰-행동 루프를 수행한다.

핵심 발견: Baseline의 확률적 개선 불가.

세 baseline 모두 temperature 0.7로 샘플링하더라도 후속 시도에서 이전 실패 문제를 확률적으로 해결하지 못한다. 같은 프롬프트를 반복 실행해도 실패 패턴이 고착되어 무작위 변동만으로는 정답에 도달하지 못하며, 이는 단순 재시도가 아닌 구조화된 피드백 메커니즘의 필요성을 직접 보여준다. 3회 연속 실패 시 해당 문제에 대한 시도를 종료하는 조건이 적용된다.

성능 결과:

설정	Baseline 정확도	Reflexion 정확도
CoT GT	~61%	~75%

CoT GT 설정에서 39%의 미해결 문제 중 14%를 추가로 해결하여, 정답 문서가 주어진 상황에서도 추론 실패가 발생하며 자기 반성이 이를 교정할 수 있음을 입증한다.

Ablation 분석 (CoT GT 기준):

단계	상대 향상
CoT GT baseline	기준
+ EPM (궤적 메모리 포함)	일부 향상
+ Self-Reflection	EPM 대비 +8%

이 ablation은 단순히 이전 시도 기록을 보여주는 것보다, 실패 원인을 자연어로 명시적으로 분석하는 자기 반성이 더 효과적임을 입증한다. Self-reflection이 궤적에서 핵심 오류를 추출하고 요약하는 역할을 하여, 모델이 다음 시도에서 더 정확한 교정 방향을 잡을 수 있게 한다.

다중 모델 결과 (100문제):

전략	모델	Baseline	Reflexion
CoT GT	text-davinci-003	0.60	0.77
CoT GT	gpt-3.5-turbo	0.57	0.71
CoT GT	gpt-4	0.68	0.80
ReAct	text-davinci-003	0.30	0.55
ReAct	gpt-3.5-turbo	0.26	0.38
ReAct	gpt-4	0.39	0.51

모델 규모가 클수록 Reflexion의 절대 성능이 높아지며, gpt-4에서 가장 큰 향상을 보인다. 자기 반성의 품질이 모델의 기본 추론 능력에 의존하기 때문으로, 더 강력한 모델이 더 정확한 반성문을 생성하여 후속 시도의 교정 효과가 커진다. 한편 ReAct + text-davinci-003에서 가장 큰 절대 향상(+0.25)이 관찰되어, 일정 임계 규모 이상에서는 상대적으로 약한 모델일수록 개선 폭이 클 수 있음을 시사한다.

구체적 예시들:

검색 전략 수정(ReAct): "'Allo 'Allo!" 관련 질문에서 첫 시도에 프로그램 제목을 직접 검색하지만 관련 정보를 찾지 못해 실패한다. 반성 후 "프로그램 제목 대신 출연 배우인 Sam Kelly를 검색해야 한다"는 피드백을 생성하고, 두 번째 시도에서 정답에 도달한다.
과도한 일반화 수정(CoT): 두 인물의 직업을 비교하는 질문에서 첫 시도에 한 인물의 직업을 지나치게 넓은 범주로 일반화하여 오답을 낸다. 반성에서 "구체적인 직업명을 사용해야 한다"는 피드백을 생성하고 정답에 도달한다.
추론 경로 교정(CoT GT): 지원 문서가 주어졌음에도 문서 내 정보를 잘못 연결하여 오답을 내는 경우, 반성을 통해 어떤 정보가 어떤 대상에 해당하는지 정리한 뒤 정답에 도달한다.

5.3 코드 생성

코드 생성 실험은 5개 벤치마크에서 수행된다: HumanEval Python, HumanEval Rust, MBPP Python, MBPP Rust, LeetcodeHardGym.

자기 생성 테스트 파이프라인.

코드 생성 도메인에서는 외부 스칼라 피드백을 구하기 어렵기 때문에, 에이전트가 스스로 테스트를 만들어 자기 코드를 검증한다. 절차는 다음과 같다.

CoT 기반 테스트 생성: 문제 설명을 입력으로 받아 LLM이 단위 테스트를 생성
AST 유효성 필터링: 생성된 테스트를 추상 구문 트리(Abstract Syntax Tree) 파싱하여 문법적으로 유효하지 않은 테스트를 제거
최대 6개 샘플링: 유효한 테스트 중 최대 6개를 선택하여 테스트 스위트 구성

에이전트는 생성한 코드를 이 테스트 스위트에 대해 실행하고, 모든 테스트를 통과하면 시도를 종료한다. 실패하면 Self-Reflection 모듈이 실패 원인을 분석하여 메모리( $\Omega = 1$ , 가장 최근 반성 1개만 유지)에 저장한다.

pass@1 결과:

(※ GPT-4의 HumanEval Python 결과 80.1%와 MBPP Python 결과 80.1%는 모두 공식 테이블 기준 값이나, 본문 텍스트에서는 82% vs 80%로 약간 다르게 기술된 부분이 있다 — 논문 내부 불일치)

모델	HumanEval PY	HumanEval RS	MBPP PY	MBPP RS	LeetcodeHard
GPT-4	80.1	-	80.1	-	-
CodeT + GPT-3.5	65.8	-	-	-	-
CodeT + Codex	-	-	67.7	-	-
Reflexion + GPT-4	91.0	68.0	77.1	75.4	15.0

벤치마크별 분석:

HumanEval Python: 91.0% pass@1로 GPT-4 대비 약 11%p 향상하여 SOTA 달성. 자기 생성 테스트의 거짓 양성(FP, false positive — 틀린 코드가 테스트를 통과하는 현상) 비율이 1.4%로 극히 낮아 테스트 스위트 신뢰도가 높다.
HumanEval Rust: 68.0% pass@1로 SOTA. Rust는 타입 시스템이 엄격하여 AST 필터링 단계에서 잘못된 테스트가 더 효과적으로 걸러진다.
MBPP Python: 77.1%로 GPT-4에 미달하는 유일한 벤치마크다. FP 비율이 16.3%로, HumanEval의 1.4% 대비 약 12배 높다. MBPP 문제들이 HumanEval보다 설명이 모호하여 LLM이 정확한 테스트를 생성하기 어렵기 때문이다. FP가 높으면 틀린 코드가 테스트를 통과하여 에이전트가 조기 종료(premature termination)한다.
MBPP Rust: 75.4%로 SOTA. Python보다 오히려 나은 이유는 Rust 컴파일러의 정적 검사가 추가 필터 역할을 하여 FP를 줄이기 때문으로 추정된다.
LeetcodeHardGym: 15.0%로 SOTA이나 절대 수치는 낮다. 경쟁 프로그래밍 수준의 고난도 문제로 LLM의 근본적 추론 한계에 부딪힌다.

거짓 양성 분석:

벤치마크	FP 비율	의미
HumanEval PY	1.4%	테스트 신뢰도 높음
MBPP PY	16.3%	틀린 코드가 테스트 통과 빈번

Ablation 분석 (HumanEval Rust, 최고 난이도 50문제):

구성	pass@1	baseline 대비
Baseline (반성 제거)	0.60	-
테스트 생성 제거	0.52	-0.08 (하락)
반성 제거 (테스트만)	0.60	0.00 (동일)
전체 Reflexion	0.68	+0.08 (개선)

테스트 생성을 제거하면 baseline 이하로 하락한다. 테스트 없이 반성만 하면 정오 판단 기준이 없어 이미 맞는 코드를 "틀렸다"고 잘못 판단하여 유해한 편집(harmful edits)이 발생한다. 테스트만 있고 반성이 없으면 baseline과 동일하다. 두 구성요소가 반드시 함께 작동해야 시너지가 발생한다.

5.4 모델 규모와 창발적 속성

starchat-beta(소형 오픈소스 모델)에서 Reflexion을 적용한 결과, 효과가 전혀 없었다.

모델	방법	Pass@1	표준편차
starchat-beta	Baseline	0.26	~0.005
starchat-beta	Reflexion	0.26	~0.003

이는 자기 수정(self-correction) 능력이 대형 모델에서만 나타나는 창발적 속성(emergent quality)임을 시사한다. 모델이 자신의 오류를 인식하고 개선 방향을 자연어로 정확히 표현하려면 일정 수준 이상의 추론 능력이 전제되어야 한다. 임계 규모 미만의 모델에 Reflexion을 적용하면 메모리 저장·검색의 계산 비용만 추가되고 성능 이득은 없다.

6. 한계 및 향후 방향

6.1 근본적 한계

LLM 자기 평가 능력 의존. Self-Reflection 모듈은 LLM이 자신의 실패 원인을 정확히 진단할 수 있다는 전제에 의존한다. 모델의 추론 능력이 부족하거나 실패 원인이 모델의 지식 범위 밖에 있으면, 반성 내용 자체가 부정확해져 오히려 후속 시도를 악화시킬 수 있다.

수렴 보장 부재. Reflexion은 시행착오 루프를 반복하지만, 반드시 정답에 도달한다는 수학적 보장이 없다. 잘못된 반성이 축적되면 같은 실수를 반복하거나, 메모리에 모순된 지침이 쌓여 성능이 정체될 수 있다.

공로 귀속(credit assignment) 문제. 궤적이 길어질수록 어느 행동이 실패를 유발했는지 특정하기 어렵다. 10단계 행동 중 3단계의 오류가 7단계에서야 드러나는 경우, Self-Reflection이 7단계를 잘못 지목할 수 있다.

반성 품질 저하 루프. 잘못된 반성이 메모리에 저장되면, 다음 시도의 Actor가 잘못된 지침을 따라 더 나쁜 결과를 만들고, 이에 대한 반성이 다시 오염된 메모리 위에 쌓이는 악순환이 발생할 수 있다. 이를 방지하는 자체 검증 메커니즘은 아키텍처에 포함되어 있지 않다.

6.2 탐색 다양성 부족

WebShop에서 100개 환경을 대상으로 4회 시도 후에도 성능 개선이 전혀 없었다.

시도 횟수	성능 변화
1	기준선
2	개선 없음
3	개선 없음
4	개선 없음

WebShop은 넓은 탐색 공간에서 다양한 전략을 시도해야 하는 태스크로, 반성이 기존 전략의 미세 조정에 편향되어 완전히 다른 접근법을 시도하지 못하는 경향이 있다. 자연어 반성만으로는 행동 공간의 근본적 재탐색을 유도하기 어렵다.

6.3 메모리 윈도우 한계

슬라이딩 윈도우 방식의 에피소딕 메모리는 시도 횟수가 많아지면 초기의 유용한 반성이 밀려나 손실될 수 있다. 또한 메모리가 길어지면 LLM의 컨텍스트 윈도우를 압박하여 Actor의 행동 생성 품질이 저하된다. $\Omega$ 를 크게 설정하면 정보 보존은 좋아지지만 컨텍스트 압박이 심해지는 트레이드오프가 존재하며, 최적값은 태스크마다 다르다.

6.4 자기 생성 테스트의 구조적 취약점

코드 생성에서 다음 네 가지 유형의 함수에서는 자기 생성 테스트가 근본적으로 부적합하다.

비결정적(non-deterministic) 함수: 랜덤 요소가 포함되어 동일 입력에 다른 출력이 나오는 함수
비순수(impure) 함수: 파일 I/O, 네트워크 호출 등 부수 효과가 있는 함수
하드웨어 의존 함수: GPU 연산, 특정 아키텍처 의존 코드
동시성(concurrent) 함수: 멀티스레드/비동기 코드에서 실행 순서에 따라 결과가 달라지는 경합 조건(race condition) 문제

또한 자기 생성 테스트의 거짓 양성 문제는 Reflexion의 반복 개선 메커니즘 자체를 무력화하는 구조적 취약점이다. 틀린 코드가 테스트를 통과하면 에이전트가 더 이상 반복을 시도하지 않는다.

6.5 향후 방향

저자들은 두 가지 확장을 제안한다.

자연어 가치 학습(value learning in natural language): 보상 함수 자체를 자연어로 학습하는 방향. 현재는 외부 평가자가 이진 피드백을 주지만, 가치 판단까지 언어적으로 수행하는 것이 목표다.
비정책 탐색(off-policy exploration): 현재 Reflexion은 자기 경험만 반성하는 정책 내(on-policy) 방식인데, 다른 에이전트의 경험이나 외부 시연을 활용한 탐색 다양성 확보가 필요하다. 이는 WebShop local minima 문제의 직접적 해결책이 될 수 있다.

6.6 해석 가능성과 안전성

Reflexion이 제시하는 언어적 강화학습 패러다임은 두 가지 상반된 함의를 갖는다. 긍정적으로는, 반성 내용이 자연어로 기록되므로 에이전트의 학습 과정이 사람에게 해석 가능하다. 전통적 강화학습에서 가중치 변화로만 표현되던 학습이 명시적 텍스트로 남아 진단 가능해진다. 부정적으로는, 자기 개선 능력이 자동화되면 잘못된 목표를 추구하는 에이전트가 사람의 개입 없이 전략을 정교화하는 안전 위험이 증폭된다.

참고: 핵심 선행 연구

ReAct: 추론(Reasoning)과 행동(Acting)을 교차하는 프롬프팅 프레임워크. Reflexion의 Actor 모듈 기반으로 사용됨
Chain-of-Thought(CoT): 중간 추론 단계를 명시적으로 생성하여 LLM의 복합 추론 능력을 향상시키는 프롬프팅 기법
Self-refine: LLM이 자신의 출력을 반복 개선하는 방식. 에피소드 간 메모리 축적이 없어 Reflexion과 차별화
AlphaCode: 대규모 코드 후보 생성 + 클러스터링으로 프로그래밍 문제를 해결. 높은 연산 비용이 단점
CodeT: LLM 자체 생성 테스트로 코드 후보를 필터링. 반복 개선 메커니즘 부재
Self-Debugging: 코드 실행 결과를 보고 수정하는 방식. 주어진 테스트에만 의존
CodeRL: 강화학습 보상 모델로 코드 디버깅 수행. 자연어 반성 부재

Chain-of-Verification Reduces Hallucination in Large Language Models

urban-dandelion — Mon, 4 May 2026 21:33:43 +0900

type: paper
source: https://arxiv.org/abs/2309.11495

Chain-of-Verification Reduces Hallucination in Large Language Models

항목	내용
저자	Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Raileanu, Xian Li, Asli Celikyilmaz, Jason Weston
연도	2023
arXiv	2309.11495
분야
인용 수	0 (Semantic Scholar 기준)

1. 배경 및 문제 정의

대규모 언어 모델(LLM)은 사실과 다른 내용을 자신 있게 생성하는 환각(hallucination) 문제를 갖는다. 환각이란 모델이 학습 데이터에 근거하지 않거나 사실과 불일치하는 정보를 그럴듯하게 출력하는 현상을 말한다.

이 문제의 구조적 원인 중 하나는 노출 편향(exposure bias) 이다. 학습 시에는 정답 토큰이 입력으로 주어지지만, 추론 시에는 모델 자신이 생성한 토큰에 의존한다. 긴 응답을 생성할수록 앞서 생성한 오류가 뒤따르는 토큰에 전파되어 환각이 누적된다.

CoVe(Chain-of-Verification)는 이 문제에 대해 외부 도구 없이 LLM 스스로의 출력을 구조화된 질문-답변 쌍으로 검증하는 프레임워크를 제안한다. 핵심 관찰은 다음과 같다: 긴 응답 내에서 발생한 환각이, 동일 사실을 짧고 독립적인 질문으로 분리하여 물으면 더 정확하게 답변된다. 실험적으로 긴 응답 속 사실 정확도가 약 17%에 불과한 반면, 동일한 사실을 독립적 단문 질문으로 물으면 약 70%까지 상승한다. 이 격차를 체계적으로 활용하는 구조가 CoVe다.

예를 들어, "멕시코-미국 전쟁에서 주요 전투를 치른 도시들을 나열하라"는 질문에 모델이 초기 응답으로 여러 도시를 나열하면서 일부 오류를 포함할 수 있다. 이때 CoVe는 나열된 각 도시에 대해 "토론토는 멕시코-미국 전쟁의 전투지였는가?"와 같은 검증 질문을 생성하고, 이 질문에 독립적으로 답하면 "아니오, 토론토는 캐나다 도시이며 해당 전쟁과 무관하다"라는 정확한 답을 얻는다. 이 검증 결과로 최종 응답에서 토론토를 제거한다.

이 직관은 긴 시퀀스 생성 시 문맥 오염이 환각의 핵심 원인 중 하나임을 시사한다. 짧은 질문은 오염될 선행 문맥이 없으므로 정확도가 높다.

2. CoVe 4단계 파이프라인

CoVe는 다음 4단계로 환각을 자체 검증한다.

2.1 1단계: 초기 응답 생성 (Generate Baseline Response)

표준 few-shot LLM 생성이다. 사용자 쿼리에 대해 left-to-right 디코딩으로 초기 응답을 만든다. 이 응답이 이후 검증 대상이 된다. 특별한 기법 없이 일반적 few-shot 프롬프트를 사용한다.

프롬프트 구조 예시:

[Few-shot 예시들]
Q: Name some politicians who were born in New York.
A: Some politicians who were born in New York include:
1. Donald Trump (...)
2. Hillary Clinton (...)
3. Michael Bloomberg (...)
...

이 단계에서 생성되는 응답에는 노출 편향으로 인해 환각이 포함될 가능성이 높다.

2.2 2단계: 검증 질문 계획 (Plan Verifications)

원래 쿼리와 1단계 응답을 컨텍스트로 제공하고, 초안의 사실적 주장을 점검할 검증 질문 목록을 LLM이 생성한다. 검증 질문은 규칙 기반 템플릿이 아니라 few-shot 예시를 참고하여 자유 형식으로 만들어진다.

프롬프트 템플릿 예시:

I will provide a question-answer pair. Based on the answer given,
generate a list of verification questions that could help verify
the facts in the answer.

[Few-shot 예시]
Question: Name some politicians who were born in New York.
Answer: 1. Donald Trump 2. Hillary Clinton 3. Michael Bloomberg ...
Verification Questions:
- Where was Donald Trump born?
- Where was Hillary Clinton born?
- Where was Michael Bloomberg born?
...

[실제 입력]
Question: {사용자 쿼리}
Answer: {1단계 응답}
Verification Questions:

핵심은 검증 질문이 원본 응답의 각 사실적 주장을 독립적으로 검증 가능한 형태로 분해한다는 점이다. 후술하는 ablation 실험에서 개방형(open-ended) 질문이 yes/no 질문보다 성능이 우수한 것으로 확인되었다. yes/no 형식에서는 모델이 사실 여부와 무관하게 질문에 동의하는 편향(sycophancy bias, 아첨 편향)을 보이기 때문이다.

2.3 3단계: 검증 실행 (Execute Verifications)

이 단계가 CoVe의 핵심이다. 검증 질문에 답하여 환각을 탐지하는데, 원래 응답을 얼마나 참조할 수 있는지에 따라 4가지 변형이 존재한다.

(a) Joint

계획과 실행을 단일 프롬프트로 처리한다. 검증 질문 생성과 답변이 하나의 디코딩 과정에서 이루어지므로, 검증 답변이 초안 응답의 전체 컨텍스트를 참조할 수 있다.

[Few-shot 예시 — 질문+응답+검증질문+검증답변이 모두 포함]
Question: {쿼리}
Answer: {1단계 응답}
Verification Questions and Answers:
- Where was Hillary Clinton born?
  → Hillary Clinton was born in Chicago, Illinois.

문제점: LLM의 반복 편향(repetition bias) 으로 인해, 컨텍스트에 있는 초안 응답의 환각을 검증 답변에서도 그대로 반복할 위험이 크다. 예를 들어 초안에서 "Hillary Clinton은 뉴욕 출신"이라 했으면, 검증 답변에서도 "뉴욕"이라 반복할 수 있다.

(b) 2-Step

계획과 실행을 별도 프롬프트로 분리한다. 실행 단계에서는 검증 질문만 제공하고 원래 초안 응답은 프롬프트에 포함하지 않는다.

[실행 단계 프롬프트 — 초안 응답 미포함]
Answer the following questions:
- Where was Hillary Clinton born?
  → Chicago, Illinois.
- Where was Michael Bloomberg born?
  → Boston, Massachusetts.

초안 응답에 대한 직접적 참조를 차단하여 반복 환각을 방지한다. 다만 모든 검증 질문이 하나의 프롬프트에 들어가므로, 검증 답변 간 간섭은 여전히 존재한다.

(c) Factored

각 검증 질문을 완전히 독립된 프롬프트로 실행한다. 초안 응답은 물론이고 다른 검증 질문-답변 쌍도 컨텍스트에 포함되지 않는다.

[프롬프트 1]
Where was Hillary Clinton born?
→ Chicago, Illinois.

[프롬프트 2 — 프롬프트 1과 완전 독립]
Where was Michael Bloomberg born?
→ Boston, Massachusetts.

장점은 답변 간 간섭이 완전히 제거되고 병렬 실행 및 배치 처리가 가능하다는 점이다. 단점은 검증 질문 수만큼 별도 추론이 필요하여 계산 비용이 증가한다는 점이다.

(d) Factor+Revise

Factored 방식으로 검증 질문에 답한 후, 추가 LLM 프롬프트로 명시적 교차 점검(cross-check) 을 수행한다. 원래 응답과 검증 질문-답변을 함께 보며 불일치를 판정한다.

교차 점검 프롬프트 예시:

Claim from bio: "Texas seceded from Mexico in 1835."

Verification Question: When did Texas secede from Mexico?
Verification Answer: Texas declared independence from Mexico on
March 2, 1836, and the Republic of Texas was established.

Judgment: INCONSISTENT
(초안은 1835년이라 했지만 검증 답변은 1836년)

3가지 판정 범주가 사용된다:

CONSISTENT: 초안의 주장과 검증 답변이 일치하여 유지
INCONSISTENT: 명확한 불일치로 검증 답변 기준으로 수정 또는 제거
PARTIALLY CONSISTENT: 부분적 일치로 맥락에 따라 수정 또는 보완

Factor+Revise는 Factored 대비 전기문 FactScore를 63.7에서 71.4로 끌어올렸으며, 명시적 추론이 암묵적 비교보다 환각 제거에 효과적임을 보여준다.

2.4 4단계: 최종 검증 응답 생성 (Generate Final Verified Response)

이전 단계의 모든 결과(초안 응답 + 검증 Q&A 쌍 + Factor+Revise의 일관성 판정)를 컨텍스트로 제공하여 수정된 최종 응답을 생성한다.

Original Question: {쿼리}
Draft Response: {1단계 응답}
Verification Results:
- Q: Where was Hillary Clinton born? A: Chicago, Illinois.
  → INCONSISTENT with draft
- Q: Where was Donald Trump born? A: Queens, New York.
  → CONSISTENT with draft

Final Verified Response:
(불일치 항목을 수정한 최종 응답)

리스트 기반 태스크에서는 불일치 항목을 제거하고, 장문 생성에서는 불일치 부분을 검증 답변에 기반하여 수정한다.

2.5 변형 간 비교 요약

변형	프롬프트 횟수	초안 참조	답변 간 간섭	병렬 가능
Joint	1	O	O	X
2-Step	2	X	O	X
Factored	N+1	X	X	O
Factor+Revise	2N+1	X (검증 시)	X	O

N은 검증 질문 수를 의미한다. Joint에서 Factor+Revise로 갈수록 환각 제거 효과는 높아지지만 계산 비용도 비례하여 증가한다.

3. Factored 변형의 설계 근거

Factored 변형이 필요한 이유는 LLM이 자기 생성물에 대해 확증 편향(confirmation bias) 을 보이기 때문이다. 자신이 이전에 생성한 답을 문맥에서 보면, 그것이 틀렸더라도 일관성을 유지하려는 경향이 있다.

일반적인 CoT 방식에서는 검증 단계에서도 원래 응답이 컨텍스트에 남아 있어, 모델이 자신의 초기 환각을 다시 참조하여 같은 오류를 반복하는 문제가 발생한다. Factored 변형은 검증 질문 실행 시 원래 응답을 어텐션 범위에서 제거하여, 모델이 오직 질문 자체만 보고 답하도록 강제한다.

[Joint 방식 — 반복 환각 위험]
컨텍스트: 초기 응답 전체 + 검증 질문
→ 모델이 초기 응답의 틀린 내용을 다시 따라감

[Factored 방식 — 반복 환각 방지]
컨텍스트: 검증 질문만 (초기 응답 제거)
→ 모델이 독립적으로 사실 확인

실험에서 Wikidata precision이 Joint(0.29) 대비 2-Step(0.36)에서 유의미하게 높은 것이 이 설계의 타당성을 입증한다.

4. 관련 연구

LLM 환각 감소 연구는 크게 세 가지 범주로 나뉜다.

4.1 학습 단계 교정 (Training-time Correction)

모델 학습 과정 자체를 수정하여 환각을 줄이는 접근이다.

RLHF(Reinforcement Learning from Human Feedback): 인간 피드백으로 보상 모델을 학습시키고, 사실적 응답에 높은 보상을 부여한다. 보상 모델 자체가 환각을 정확히 탐지하지 못하면 효과가 제한되며, 보상 해킹(reward hacking)을 통해 사실적으로 보이지만 부정확한 응답을 생성할 수 있다.
대조 학습(Contrastive Learning): 사실적 응답과 환각 응답 쌍을 구성하여 두 유형의 차이를 학습하게 한다. 고품질 대조 쌍 구축에 비용이 크다.

이 범주의 근본적 한계는 학습 데이터에 포함되지 않은 새로운 사실에 대해서는 교정 효과가 약하다는 점이다.

4.2 생성 단계 교정 (Generation-time Correction)

모델 파라미터를 변경하지 않고, 추론 시점에 환각을 탐지·교정하는 접근이다. CoVe가 이 범주에 속한다.

Confidence Score 기반: 토큰별 생성 확률이나 entropy를 측정하여 불확실한 구간을 식별한다. 그러나 LLM은 환각 내용에도 높은 confidence를 보이는 경우가 빈번하여(overconfident hallucination), 확률 기반 탐지만으로는 불충분하다. 특히 학습 데이터에서 자주 등장했지만 실제로는 틀린 정보(popular misconception)에 대해 confidence가 매우 높게 나타난다.
Self-Consistency / 다중 샘플링: SelfCheckGPT가 대표적이다. 동일 질문에 대해 여러 번 샘플링하고, 응답 간 일관성이 낮은 부분을 환각으로 판단한다. 사실적 내용은 샘플링마다 반복되지만 환각은 매번 달라진다는 원리이다. 단점은 다수 샘플링에 따른 연산 비용과, 모든 샘플에서 동일하게 반복되는 "공유 환각(shared hallucination)"을 탐지하지 못한다는 점이다.
Multi-Agent Debate: 복수의 LLM 에이전트가 서로의 응답을 비판하고 수정하는 방식이다. 모든 에이전트가 동일한 사전학습 데이터에 기반하므로, 공통 지식 공백에서는 여전히 환각이 발생한다. 다양성이 부족한 에이전트 풀은 편향을 강화할 위험이 있다.

CoVe의 위치: generation-time self-consistency 계열이지만, multi-agent 없이 단일 모델로 수행한다는 점이 차별적이다. Factored 변형은 검증 질문 답변 시 원래 응답을 컨텍스트에서 제거하여, 원래 환각이 반복 전파되는 것을 차단한다.

4.3 외부 도구 활용 (Tool-use / Retrieval Augmentation)

생성 시 외부 지식 소스를 참조하여 환각을 줄이는 접근이다.

RAG(Retrieval-Augmented Generation): 질문과 관련된 문서를 검색 엔진이나 벡터 DB에서 가져와 컨텍스트에 포함시킨 후 응답을 생성한다. 검색된 문서 자체가 부정확하거나 오래된 경우 오히려 환각을 유발할 수 있다(retrieval-grounded hallucination).
Tool-use: 계산기, 데이터베이스 쿼리, API 호출 등 외부 도구를 활용한다. 도구가 커버하지 못하는 개방형 질문에서는 적용이 어렵다.

4.4 추론 개선 관련 연구와의 관계

Chain-of-Thought(CoT): 중간 추론 단계를 명시적으로 생성하게 하여 최종 답변 정확도를 높인다. CoVe는 CoT의 단계적 사고를 "검증"이라는 특정 목적에 특화시킨 것으로 볼 수 있다.
Deductive Verification: 생성된 추론 과정의 각 단계가 논리적으로 유효한지 역방향으로 검증한다.
Self-Verification: 모델이 자신의 출력을 재검토하는 일반적 프레임워크로, CoVe는 이를 구조화된 질문-답변 쌍으로 구체화한 변형이다.

4.5 3대 범주 비교

범주	대표 방법론	장점	주요 한계
Training-time	RLHF, 대조 학습	모델 자체 개선	학습 외 사실에 취약
Generation-time	CoVe, SelfCheckGPT	파라미터 수정 불필요	공유 환각 탐지 어려움
Tool-use/Retrieval	RAG, API 호출	최신 외부 지식 활용	도구 범위 외 질문에 한계

5. 실험 설계

5.1 벤치마크 태스크

CoVe는 4개의 벤치마크 태스크를 통해 환각 감소 효과를 검증한다. 각 태스크는 환각이 발생하기 쉬운 서로 다른 유형의 생성 과제를 대표한다.

Wikidata 리스트 질문: "Name some cities in France that have a UNESCO World Heritage Site"와 같이 여러 엔티티를 나열해야 하는 질문 56개로 구성된다. 총 약 600개의 gold 엔티티가 정답으로 존재하며, precision(모델이 생성한 엔티티 중 실제 정답에 포함되는 비율)을 평가 메트릭으로 사용한다. 리스트 형태의 응답은 모델이 "그럴듯하지만 존재하지 않는" 항목을 삽입하기 쉬워 환각 측정에 적합하다.

Wiki-Category 리스트 질문: QUEST(Question and Entity-based Search Tasks) 데이터셋에서 추출한 55개 질문으로, Wikidata보다 난이도가 높다. QUEST는 위키피디아 카테고리 구조를 활용해 더 복잡한 조건의 리스트 질문을 생성한 데이터셋이다. 질문당 평균 약 8개의 정답이 존재하며 동일하게 precision으로 평가한다. 정답 수가 적고 조건이 까다로워 모델이 정답 범위를 벗어난 엔티티를 생성할 확률이 높다.

MultiSpanQA: 418개 질문으로 구성된 closed-book(외부 문서 참조 없이 모델 내부 지식만으로 답변) 다중 스팬 QA 태스크다. 하나의 질문에 여러 개의 독립된 답변 스팬이 존재하며, F1 score로 평가한다. 예를 들어 "Who invented the printing press and in what year?"라는 질문에 "Gutenberg"와 "1450"이라는 두 개의 스팬이 정답이 된다.

Biography 장문 생성: 인물에 대한 전기문을 자유롭게 생성하는 태스크로, "Tell me a bio of [person]"과 같은 프롬프트를 사용한다. 평가에는 FactScore를 사용하는데, 이는 생성된 텍스트를 개별 사실 단위(atomic fact)로 분해한 뒤 각각의 사실이 신뢰 출처에서 검증 가능한지를 측정하는 메트릭이다.

태스크	질문 수	정답 규모	평가 메트릭
Wikidata	56	총 약 600 gold entities	Precision
Wiki-Category	55	질문당 약 8개	Precision
MultiSpanQA	418	다중 스팬	F1
Biography	-	-	FactScore

5.2 Baseline 모델 구성

모델	설정	비고
Llama 65B	few-shot	CoVe 기반 모델
Llama 2 70B Chat	zero-shot, CoT	instruction-tuned 모델
InstructGPT	-	외부 비교군
ChatGPT	-	외부 비교군
PerplexityAI	-	검색 보강 시스템

모든 CoVe 실험은 Llama 65B 기반으로 수행되었다. Llama 2 70B Chat은 instruction-tuned 모델로서 zero-shot 및 CoT 설정으로 평가하고, 외부 비교 대상으로 InstructGPT, ChatGPT, PerplexityAI를 포함한다.

5.3 Llama 2 Chat의 불필요 내용 생성 문제

Instruction-tuned 모델인 Llama 2 Chat은 리스트 질문에 대해 단순 엔티티 나열 대신 각 항목에 부연 설명, 면책 조항(disclaimer), 또는 관련 없는 배경 정보를 덧붙이는 경향이 있다. 이는 RLHF 훈련 과정에서 "도움이 되는 상세한 응답"을 선호하도록 학습된 결과다. 이 문제를 해결하기 위해 두 가지 후처리 방법을 적용한다:

"List only the names, one per line" 등의 추가 프롬프트로 출력 형식을 제약하는 방법
NER(Named Entity Recognition, 개체명 인식) 후처리로 생성된 텍스트에서 엔티티만 추출하는 방법

6. 실험 결과

6.1 Wikidata 리스트 질문

모델	Method	Prec.	Pos.	Neg.
Llama 2 70B Chat	Zero-shot	0.12	0.55	3.93
Llama 2 70B Chat	CoT	0.08	0.75	8.92
Llama 65B	Few-shot	0.17	0.59	2.95
Llama 65B	CoVe (joint)	0.29	0.41	0.98
Llama 65B	CoVe (2-step)	0.36	0.38	0.68
Llama 65B	CoVe (factored)	0.32	0.38	0.79

Pos.는 정답 엔티티 수, Neg.는 환각된 엔티티 수를 의미한다. Few-shot baseline의 precision이 0.17에서 CoVe(2-step)에서 0.36으로 약 2배 향상되었다. 환각 엔티티 수(Neg.)도 2.95에서 0.68로 대폭 감소했다.

6.2 Wiki-Category 리스트 질문

모델	Method	Prec.	Pos.	Neg.
Llama 2 70B Chat	Zero-shot	0.05	0.35	6.85
Llama 2 70B Chat	CoT	0.03	0.30	11.1
Llama 65B	Few-shot	0.12	0.55	4.05
Llama 65B	CoVe (joint)	0.15	0.30	1.69
Llama 65B	CoVe (2-step)	0.21	0.50	0.52
Llama 65B	CoVe (factored)	0.22	0.52	1.52

Wikidata보다 난이도가 높은 Wiki-Category에서도 동일한 패턴이 관찰된다. Factored 변형이 precision 0.22로 가장 높았다.

6.3 MultiSpanQA

모델	Method	F1	Prec.	Rec.
Llama 2 70B Chat	Zero-shot	0.20	0.13	0.40
Llama 2 70B Chat	CoT	0.17	0.11	0.37
Llama 65B	Few-shot	0.39	0.40	0.38
Llama 65B	CoVe (joint)	0.46	0.50	0.42
Llama 65B	CoVe (factored)	0.48	0.50	0.46

다중 정답 스팬을 요구하는 MultiSpanQA에서 F1이 0.39에서 0.48로 약 23% 향상되었다.

6.4 Biography 장문 생성

모델 / Method	FactScore	Avg. # facts
InstructGPT Zero-shot	41.1	26.3
ChatGPT Zero-shot	58.7	34.7
PerplexityAI Retrieval-based	61.6	40.8
Llama 2 70B Chat Zero-shot	41.3	64.9
Llama 2 70B Chat CoT	41.1	49.0
Llama 65B Few-shot	55.9	16.6
Llama 65B CoVe (joint)	60.8	12.8
Llama 65B CoVe (factored)	63.7	11.7
Llama 65B CoVe (factor+revise)	71.4	12.3

전기문 생성에서 FactScore가 55.9에서 71.4로 약 28% 향상되었다(factor+revise 변형). Llama 65B 기반 CoVe가 ChatGPT(58.7)와 PerplexityAI(61.6)를 모두 능가했다.

6.5 Ablation: 검증 질문 유형별 성능

Wiki-Category 태스크에서 검증 질문 형식에 따른 성능 차이를 비교한다.

검증 질문 유형	CoVe (joint)	CoVe (factored)
Rule-based	0.13	0.16
Yes/no 형식	0.15	0.19
Open (general) 형식	0.15	0.22

LLM이 자체 생성한 open-ended 질문(0.22)이 규칙 기반 질문(0.16)보다 우수했다. Yes/no 형식(0.19)은 LLM이 "yes"로 편향되는 경향이 있어 open 형식보다 열등했다.

7. 핵심 발견 및 분석

7.1 CoT와 Instruction-tuning은 환각 감소에 무효

CoT 적용 시 Wikidata Neg.가 3.93에서 8.92로 약 2.3배 급증했고, MultiSpanQA에서도 F1이 0.20에서 0.17로 하락했다. 사실 검증 태스크에서 CoT의 단계별 추론이 오히려 더 많은 그럴듯한 환각을 생성하는 역효과를 보인다. Llama 2 70B Chat(instruction-tuned)도 Llama 65B(base, few-shot)보다 모든 태스크에서 열등했다. Instruction-tuning이 모델의 순응성(sycophancy)을 높여 자기 교정 능력을 약화시킬 수 있음을 시사한다.

7.2 Factored 변형의 일관된 우수성

Factored 방식이 Joint 방식보다 모든 태스크에서 우수했다. 원래 응답을 참조하면 동일한 환각을 반복하는 편향이 발생하기 때문이다. Wikidata에서 Joint(0.29) vs 2-Step(0.36)의 precision 차이가 이를 입증한다.

7.3 짧은 형태 질문의 정확도 우위

동일한 사실에 대해 짧은 독립 질문으로 물으면 약 70% 정확도를 보이지만, 긴 응답 속에 포함된 동일 사실은 약 17% 정확도에 그쳤다. 이것이 CoVe 전체 프레임워크의 이론적 기반이 되는 핵심 관찰이다.

7.4 FactScore의 인물 유명도별 분포

전기문 대상 인물의 유명도에 따라 성능 차이가 발생한다. head(유명 인물) 구간에서는 CoVe와 baseline 모두 높은 정확도를 보이지만, tail(잘 알려지지 않은 인물)로 갈수록 baseline의 환각이 급증한다. CoVe는 모든 구간에서 개선을 보이지만, tail 구간에서는 PerplexityAI가 검색 증강 특성 덕분에 여전히 우위를 점한다.

7.5 길이 제한(Clipping)의 제한적 효과

Llama 2 70B Chat에서 생성 길이를 10문장으로 제한했을 때 FactScore가 41.3에서 42.7로 소폭 상승했다. 길이 제한 자체만으로도 환각을 약간 줄일 수 있으나, CoVe의 검증 메커니즘에 비하면 효과가 미미하다.

8. 역효과 및 한계

8.1 정답 엔티티 동반 감소

환각 제거 과정에서 정답도 함께 탈락한다. Wikidata에서 Pos.(정답 엔티티 수)가 0.59에서 0.38로 약 36% 감소했다. 검증 과정이 보수적으로 작동하여 맞는 항목까지 의심하는 것이다. 재현율이 중요한 태스크에서는 이 부작용이 치명적일 수 있다.

8.2 생성 사실 수 감소

전기문 생성에서 평균 사실 수(Avg. # facts)가 16.6에서 12.3으로 약 26% 감소했다. FactScore는 올랐지만 정보량은 줄어든 셈으로, 정확도와 정보량 사이에 트레이드오프가 존재한다.

8.3 검증 질문 자체의 환각

검증 질문 생성 단계에서 부적절하거나 원래 주장과 무관한 질문이 만들어질 수 있다. 검증 질문의 품질이 낮으면 파이프라인 전체가 무력화된다. 잘못된 검증 질문으로 인해 올바른 내용을 오히려 틀린 것으로 교정하는 역효과(false negative)도 발생할 수 있다.

8.4 자기참조의 재귀적 한계

단일 모델이 자신의 출력을 검증하므로, 모델의 지식 자체에 공백이 있는 영역에서는 검증 질문에도 동일하게 틀린 답을 할 수 있다. Factored 변형이 반복 환각을 줄여주지만, 모델이 아예 모르는 사실에 대해서는 근본적으로 무력하다. CoVe의 개선 상한은 LLM이 독립 질문으로 물었을 때의 정확도(약 70%)에 제한된다. PerplexityAI가 희귀 사실에서 CoVe를 능가한 것이 이를 보여준다.

8.5 계산 비용 증가

단일 질문에 대해 초기 생성 + 검증 질문 생성 + 검증 실행 + 최종 생성의 최소 4회 LLM 호출이 필요하다. Factored는 검증 질문 N개만큼 독립 추론이 필요하고, Factor+Revise는 2N+1회의 LLM 호출이 필요하다. 전기문 생성에서 검증 질문이 10~20개 생성되면 총 추론 횟수가 20~40회로 늘어난다. 실시간 응답이 필요한 서비스에서는 지연이 심각할 수 있다. 또한 검증 질문을 늘릴수록 비용은 선형 증가하지만, 모델 지식 상한에 의해 정확도 개선은 포화(plateau)한다.

8.6 Factored 방식의 정보 손실

초기 응답을 문맥에서 제거하면 반복 환각은 방지되지만, 원래 응답에 포함된 유용한 맥락 정보까지 함께 사라져 검증 답변의 품질이 저하될 수 있다. 맥락 의존적 사실 확인에서는 Joint 방식보다 오히려 불리할 수 있다.

8.7 검증 범위 제약

CoVe는 직접 진술된 사실 부정확성(factual inaccuracy)만 대상으로 한다. 추론 과정에서 발생하는 논리적 환각, 의견 기반 환각, 암묵적 가정의 오류 등은 검증 질문으로 분해 자체가 어려워 CoVe의 범위 밖이다. 또한 노출 편향 외에 학습 데이터의 부정확성이나 지식 경계(knowledge boundary) 문제 등 다른 원인에 의한 환각에는 CoVe의 자체 검증이 근본적으로 대응하지 못한다.

8.8 모델 스케일 의존성

모델 크기를 키워도(예: 7B → 65B) 환각이 완전히 사라지지 않으며, 대형 모델은 더 유창하게 환각하므로 오히려 탐지가 어려워지는 역설이 존재한다. 자기검증 능력 역시 모델 크기에 비례하므로, 소형 모델에서는 검증 단계 자체가 부정확하여 CoVe의 효과가 크게 감소하거나 오히려 성능이 하락할 수 있다.

8.9 실험 규모 제한

Wikidata 56개, Wiki-Category 55개 질문은 통계적으로 소규모이며, 특정 질문 유형이나 도메인에 편향될 가능성이 있다. Biography 태스크의 FactScore는 위키피디아 기반으로 검증하므로, 위키피디아에 기술되지 않은 사실은 정답이더라도 검증 불가로 처리될 수 있다.

9. 핵심 기여 및 향후 방향

9.1 3대 핵심 기여

기여 1 — 검증 질문 분해: 긴 응답에서 발생한 환각을, 해당 사실을 짧은 독립 질문으로 재구성하여 다시 물으면 정확도가 높아진다는 관찰을 체계적 파이프라인으로 구현했다.

기여 2 — Factored Attention으로 반복 환각 방지: 검증 질문 실행 시 원래 응답을 어텐션 범위에서 제거하여 확증 편향을 차단하는 구조를 제안했다. 이를 통해 모델이 자신의 초기 환각에 끌려가는 현상을 효과적으로 방지한다.

기여 3 — 외부 도구 없는 자기검증: 검색 엔진이나 외부 지식 베이스 없이, 동일한 LLM이 생성과 검증을 모두 수행한다. 외부 시스템 의존 없이 배포 가능하다는 실용적 장점이 있다. Llama 65B 단일 모델로 ChatGPT, PerplexityAI를 능가하는 결과가 이를 뒷받침한다.

9.2 향후 확장 방향

자기검증의 상한을 극복하기 위해, 검증 질문 실행 단계에서 검색 엔진(retrieval augmentation)이나 외부 API를 호출하는 tool-use 방식과의 결합이 제안된다. 이 경우 모델 내부 지식에 의존하지 않고 외부 사실 소스로 검증하므로, 모델 지식 경계 밖 사실에 대한 상한 문제를 완화할 수 있다.

참고: 핵심 선행 연구

SelfCheckGPT: 동일 질문에 대한 다중 샘플링 응답 간 일관성으로 환각을 탐지하는 방법론. CoVe와 달리 통계적 비일관성을 기준으로 하며, 공유 환각에 취약하다.
RLHF: 인간 피드백 기반 강화학습으로 모델 자체를 교정하는 학습 단계 접근. 보상 해킹 위험과 학습 외 사실에 대한 한계가 있다.
Chain-of-Thought(CoT): 중간 추론 단계를 명시적으로 생성하여 최종 답변 정확도를 높이는 프롬프팅 기법. CoVe는 CoT의 단계적 사고를 검증 목적에 특화시킨 확장으로 볼 수 있다.
RAG(Retrieval-Augmented Generation): 외부 문서를 검색하여 컨텍스트에 포함시키는 방식으로, 모델 내부 지식의 한계를 보완한다. CoVe의 향후 확장 방향으로 tool-use와의 결합이 제안된다.
Multi-Agent Debate: 복수 LLM 에이전트의 교차 검증 방식으로, CoVe가 단일 모델로 이를 대체한다는 점에서 차별화된다.

Self-Refine: Iterative Refinement with Self-Feedback

urban-dandelion — Mon, 4 May 2026 21:32:19 +0900

type: paper
source: https://arxiv.org/abs/2303.17651

항목	내용
저자	Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark
연도	2023
arXiv	2303.17651
분야
인용 수	0 (Semantic Scholar 기준)

1. 배경 및 문제 정의

1.1 연구 동기

대규모 언어 모델(LLM)은 일관된 텍스트를 생성할 수 있지만, 첫 시도에서 항상 최적의 결과를 내지는 못한다. 대화 응답처럼 다면적 목표를 가진 태스크나, 코드 가독성 개선처럼 목표를 명확히 정의하기 어려운 태스크에서 특히 그렇다. 사람은 글을 쓸 때 초안 → 검토 → 수정을 자연스럽게 반복하는데, LLM도 동일한 자기 정제 방식으로 출력을 개선할 수 있다는 아이디어에서 출발한다.

1.2 기존 반복 정제 접근법의 세 가지 한계

도메인별 학습 필요: PEER, Self-Correction 등은 태스크마다 별도의 정제 모델을 학습시켜야 한다. Self-Correction의 파인튜닝 버전은 오히려 GSM-8K에서 24.3%로 하락하여 학습 기반 접근의 위험성을 보여준다.
외부 감독 의존: 인간 피드백, 보상 모델, 컴파일러 출력 등 추가 감독 신호가 필수적이다.
높은 비용: 대규모 학습 데이터 수집이나 인간 어노테이션에 상당한 비용이 든다.

1.3 관련 연구의 3축 분류 체계

기존 반복 정제 연구는 세 가지 축으로 분류할 수 있다.

축 1 — 피드백 소스: 누가 피드백을 제공하는가에 따라 네 가지로 나뉜다.

인간 피드백: 사람이 직접 출력을 평가하고 수정 지시를 제공한다. 품질은 높으나 확장성이 낮고 비용이 크다. RLHF 계열이 대표적이다.
스칼라 보상 신호: 단일 숫자 점수(BLEU, 정확도 등)를 피드백으로 사용한다. CodeRL이 대표적으로, 컴파일·테스트 통과 여부를 보상으로 활용한다. "어디가 왜 틀렸는지"를 알려주지 못한다는 한계가 있다.
컴파일러·외부 도구: 코드 생성 태스크에서 컴파일 에러 메시지, 테스트 케이스 실패 로그 등을 피드백으로 활용한다. 도메인이 코드로 한정된다.
LLM 자체 피드백: 동일 또는 다른 LLM이 자연어로 피드백을 생성한다. Self-Refine은 여기에 해당하며, 동일 LLM이 자기 출력에 대해 피드백을 생성한다는 점이 핵심 차별점이다.

축 2 — 피드백 표현 형식: 자연어 피드백은 "두 번째 문장의 논리가 비약적이다"처럼 구체적 수정 방향을 전달할 수 있어 다면적 지적이 가능하다. 비자연어 피드백은 숫자 점수, 바이너리 신호(통과/실패), 보상 값 등이다.

축 3 — 정제기 유형: 학습 기반 정제기(PEER 등)는 피드백을 반영해 출력을 수정하는 별도 모델을 학습시킨다. 프롬프트 기반 정제기(Self-Refine)는 추가 학습 없이 프롬프트만으로 정제를 유도한다.

2. 핵심 아이디어 및 알고리즘

2.1 Self-Refine 개요

Self-Refine은 단일 LLM이 생성자(generator), 피드백 제공자(feedback provider), 정제자(refiner)의 세 역할을 모두 수행하는 프레임워크다. 추가 학습 데이터, 별도 모델 학습, 강화학습 없이 퓨샷(few-shot) 프롬프팅만으로 동작하며, 3단계 루프를 반복한다.

2.2 알고리즘 3단계

1단계 — INIT (초기 생성)

$y_0 = M(p_{\text{gen}} \| x)$

입력 $x$ 와 생성 프롬프트 $p_{\text{gen}}$ 을 결합하여 모델 $M$ 이 초기 출력 $y_0$ 를 생성한다. 이 단계는 기존 제로샷 또는 퓨샷 생성과 동일하며, Self-Refine의 기준선(baseline)이 된다.

2단계 — FEEDBACK (자기 피드백)

$fb_t = M(p_{\text{fb}} \| x \| y_t)$

동일 모델 $M$ 이 피드백 프롬프트 $p_{\text{fb}}$ , 원본 입력 $x$ , 현재 출력 $y_t$ 를 받아 피드백 $fb_t$ 를 생성한다. 외부 보상 모델이나 인간 평가 없이 자기 자신이 비평가 역할을 수행한다. 피드백의 핵심 요건은 실행 가능성(actionable: 구체적 행동을 담음)과 구체성(specific: 수정할 부분을 정확히 지목)이다. 예를 들어 "이 코드는 느리다"가 아니라 "for 루프가 brute force 방식이라 느리다"처럼 문제 지점을 특정한다.

3단계 — REFINE (정제)

$y_{t+1} = M(p_{\text{refine}} \| x \| y_0 \| fb_0 \| \cdots \| y_t \| fb_t)$

원본 입력 $x$ 와 이전 반복의 모든 출력 및 피드백 이력을 결합하여 개선된 출력 $y_{t+1}$ 을 생성한다. 이전 반복의 모든 출력과 피드백을 프롬프트에 포함시켜 과거 실수 반복을 방지한다. 이후 2단계→3단계를 종료 조건이 충족될 때까지 반복한다.

종료 조건: 피드백 점수가 임계값 이상이거나, 최대 반복 횟수(최대 4회)에 도달하면 루프를 멈추고 최종 출력을 반환한다.

의사 코드

Input: 입력 x, 모델 M, 프롬프트 p_gen, p_fb, p_refine
y_0 ← M(p_gen || x)                    # 초기 생성
for t = 0, 1, 2, ... do
    fb_t ← M(p_fb || x || y_t)         # 피드백 생성
    if stop(fb_t) then break            # 종료 조건 판정
    y_{t+1} ← M(p_refine || x || y_0 || fb_0 || ... || y_t || fb_t)  # 정제
return y_t                              # 최종 출력

2.3 다면적 피드백 설계

Self-Refine의 피드백은 단일 점수가 아니라 여러 측면(aspect)을 개별 채점하는 구조다. 태스크마다 측면 수와 배점이 다르다.

태스크	측면 수	측면당 배점	총점
대화 응답	10	3	30
약어 생성	5	5	25

대화 응답: 관련성, 정보성, 흥미도, 일관성, 도움됨, 참여 유도, 구체성, 안전성, 사용자 이해도, 유창성의 10개 측면을 각각 3점 만점으로 평가한다. 각 측면에 대해 연쇄적 사고(chain-of-thought) 방식의 추론 후 점수를 생성한다.
약어 생성: 발음 용이성, 철자 용이성, 제목 관련성, 긍정적 연상, 인지도의 5개 측면을 각 5점 만점으로 평가한다.
코드 최적화: 효율성, 가독성, 전체 품질에 대한 자유 형식 피드백을 제공한다.

이 설계의 장점은 "어디가 부족한지"를 구체적으로 지목할 수 있어, 정제 단계에서 어떤 측면을 우선 개선할지 방향을 제공한다는 것이다.

2.4 기존 방법과의 비교

방법	감독 없는 피드백	감독 없는 정제	다면적	반복적
PEER	X	X	X	X
Self-Correction	O	X	X	X
Self-critique	O	X	X	X
Reflexion	O	X	X	O
Augmenter	X	O	X	X
Re3	O	O	X	X
CodeRL	X	X	X	X
Self-Refine	O	O	O	O

Self-Refine만이 네 가지 속성을 동시에 충족한다.

PEER: 피드백과 정제 모두 감독 학습 필요
Self-Correction: 자기 피드백은 가능하나 정제 시 별도 학습 필요, 단일 측면, 비반복
Reflexion: 자기 피드백 + 반복은 있으나 정제에 외부 환경(에피소드 메모리) 의존, 다면적 아님
Augmenter: 정제는 감독 불필요하나 피드백이 규칙 기반, 비반복
Re3: 피드백·정제 모두 감독 불필요하나 단일 측면 + 비반복(1회성)

Self-Refine만이 프롬프트만 바꾸면 새 태스크에 즉시 적용 가능하다. 또한 RL 기반 방법(PPO + 보상 모델 등)이 모델 파라미터를 업데이트하여 출력 분포를 개선하는 것과 달리, Self-Refine은 파라미터를 고정한 채 추론 시점에 텍스트 수준에서 반복 수정한다. 학습 인프라가 불필요하고 API 모델에도 적용 가능하다는 장점이 있으나, 모델의 기본 능력 한계를 넘을 수 없다는 근본적 제약이 있다.

3. 실험 설계

3.1 7개 태스크 개요

태스크	데이터셋	규모	평가 지표
대화 응답 생성	FED	372개 대화 (인간 평가 100개)	GPT-4 / 인간 선호도
코드 최적화	PIE	1,000개	최적화 성공률(%)
코드 가독성 개선	CodeNet	300개 (전체) / 60개 (인간 비교)	GPT-4 변수명 점수 / 인간 선호도
수학 추론	GSM-8K	1,319개	정답률(%)
감정 반전	Yelp	1,000개	GPT-4 / 인간 선호도
약어 생성	자체 수집	250개	GPT-4 / 인간 선호도
제약 조건 생성	CommonGen-Hard	200개	키워드 커버리지(%)

CommonGen-Hard는 이 논문에서 새로 제안한 태스크로, 기존 CommonGen의 3-5개 키워드 대신 20-30개 키워드를 포함하는 문장을 생성해야 한다. 키워드 수가 대폭 증가하여 첫 시도에서 누락이 발생하기 쉬워 반복 정제가 특히 유효하다.

3.2 태스크별 인스턴스화 특이점

Self-Refine은 7개 태스크에 적용되는데, 각 태스크마다 프롬프트 구조와 운영 방식이 상당히 다르다.

코드 가독성: INIT 단계에서 코드를 새로 생성하지 않고, 입력 코드를 그대로 통과(no-op)시킨다. 즉 $y_0 = x$ 이며, 피드백→정제 루프만으로 가독성을 개선한다. 초기 생성이 "아무것도 하지 않는" 유일한 태스크다.

수학 추론: GSM-8K에서 직접 자연어 추론 대신 PaL(Program-aided Language model) 방식을 사용한다. LLM이 Python 코드를 생성하고 실행 결과를 얻는 방식이며, 피드백 단계에서 Oracle(정답)을 참조하여 코드 실행 결과가 틀렸는지 판정한다. Oracle 의존이라는 점에서 다른 태스크와 근본적으로 다르다.

감정 반전: 리뷰 텍스트의 감정을 반대로 뒤집는 태스크로, 피드백이 문장 전체가 아닌 특정 단어나 구절을 핀포인트로 지목하는 방식이다. "3번째 문장의 'terrible'을 긍정 표현으로 바꿔라" 같은 세밀한 지시를 생성한다.

약어 생성 및 대화 응답: 반복 루프에서 여러 후보가 생성되면, 피드백 점수가 가장 높은 출력을 최종 선택한다. 단순히 마지막 반복 결과를 쓰는 것이 아니라, 전체 반복 중 최고점(best-of-iterations) 전략을 적용한다.

제약 조건 생성(CommonGen-Hard): 피드백이 두 종류를 동시에 생성한다. 첫째, 개념 피드백(concept feedback): "다음 키워드가 누락됨: [dog, river, sunset]". 둘째, 상식 피드백(commonsense feedback): "개가 강에서 일몰을 본다는 설정은 비현실적이므로 산책 맥락으로 변경 권장". 정제기는 두 피드백을 모두 반영하여 키워드 커버리지와 상식적 타당성을 동시에 개선한다.

3.3 생성 설정 및 평가 방식

모든 태스크에서 temperature는 0.7로 통일했다. 평가는 세 가지 방식을 병행한다.

자동 지표: 태스크별 고유 메트릭(실행 시간, 정확도, 키워드 커버리지 등)
인간 A/B 평가: 평가자가 Self-Refine 출력과 기본 출력 중 선호도를 판정한다. 태스크당 150개 예시를 평가하며, 블라인드 설계로 어떤 방법이 생성한 출력인지 알지 못하는 상태에서 수행한다.
GPT-4 프록시 평가: 인간 평가 비용을 줄이기 위해 GPT-4가 A/B 판정을 대행한다.

GPT-4 프록시 평가의 인간 판정 일치율은 태스크별로 상이하다.

태스크	GPT-4-인간 일치율
감정 반전	82%
대화 응답	71%
약어 생성	68%

감정 반전처럼 판단 기준이 명확한(톤 전환 여부) 태스크에서 GPT-4 프록시가 더 신뢰할 만하고, 약어처럼 주관적 창의성이 개입되는 태스크에서는 인간-GPT-4 간 불일치가 커진다.

3.4 태스크별 프롬프트 흐름

코드 최적화 흐름: INIT에서 "이 코드를 더 빠르게 실행되도록 최적화하라"는 지시와 함께 원본 코드를 제공한다. FEEDBACK에서 "이 코드의 시간 복잡도를 분석하고, 병목 지점을 찾아 개선 방법을 제안하라"고 지시한다. 예를 들어 $O(n^2)$ 반복을 $O(n)$ 수학 공식(예: $\sum_{i=1}^{n} i = \frac{n(n+1)}{2}$ )으로 대체할 수 있다는 피드백이 나오면, REFINE이 이를 반영한 코드를 생성한다.

대화 응답 흐름: 대화 맥락과 생성된 응답을 제시한 뒤, 10개 측면 각각에 3점 만점 점수를 부여하고, 가장 낮은 점수의 측면에 대해 구체적 개선 방향을 서술하도록 요청한다. REFINE은 이 피드백을 받아 해당 측면을 집중 개선한 응답을 재생성한다.

수학 추론 흐름: INIT이 문제를 Python 코드로 풀면, FEEDBACK이 코드를 실행하여 "3단계에서 변수 x에 잘못된 값이 할당됨", "나눗셈 순서가 뒤바뀜" 등 구체적 오류를 진단한다. REFINE이 해당 라인을 수정한 코드를 출력한다.

약어 생성 흐름: FEEDBACK이 5개 측면 각각에 점수와 코멘트를 제공한다. 예: "발음: 3/5 — 자음 연속으로 발음 어려움. 의미: 4/5 — 원래 의미와 잘 연결됨". REFINE이 발음이 어려운 부분을 모음 삽입 등으로 개선한 약어를 제안한다.

4. 주요 결과

4.1 3모델 × 7태스크 성능

핵심 패턴은 기본 모델이 강할수록 Self-Refine의 절대 향상폭은 줄어들지만, 최종 도달 성능은 높아진다는 것이다.

태스크	GPT-3.5 Base	+Self-Refine	ChatGPT Base	+Self-Refine	GPT-4 Base	+Self-Refine
감정 반전	8.8	30.4 (+21.6)	11.4	43.2 (+31.8)	3.8	36.2 (+32.4)
대화 응답	36.4	63.6 (+27.2)	40.1	59.9 (+19.8)	25.4	74.6 (+49.2)
코드 최적화	14.8	23.0 (+8.2)	23.9	27.5 (+3.6)	27.3	36.0 (+8.7)
코드 가독성	37.4	51.3 (+13.9)	27.7	63.1 (+35.4)	27.4	56.2 (+28.8)
수학 추론	64.1	64.1 (0)	74.8	75.0 (+0.2)	92.9	93.1 (+0.2)
약어 생성	41.6	56.4 (+14.8)	27.2	37.2 (+10.0)	30.4	56.0 (+25.6)
제약 조건	28.0	37.0 (+9.0)	44.0	67.0 (+23.0)	15.0	45.0 (+30.0)

수학 추론을 제외하면 태스크별 향상폭이 +3.6%p ~ +49.2%p 범위이며, 전체 21개 조합(7태스크 × 3모델)의 평균 향상이 약 20%p에 해당한다. GPT-4 기반 대화 응답에서 +49.2%p가 최대 향상이다.

(※ ChatGPT 코드 최적화 Base 성능이 주 결과표에서 23.9%, SOTA 비교표에서 22.2%로 1.7%p 불일치한다. Self-Refine 적용 성능도 각각 27.5%와 26.7%로 0.8%p 불일치한다. 평가 셋업 차이에 의한 것으로 추정되나 논문 내 명시적 설명이 없다. — 논문 내부 불일치)

4.2 통계적 유의성

Self-Refine은 결과의 통계적 유의성을 Wilson 신뢰구간(Wilson score interval)으로 검증했다. Wilson 신뢰구간은 이항 비율의 신뢰구간을 정규 근사보다 정확하게 추정하는 방법이다.

GPT-3.5에서는 7개 태스크 중 3개에서만 향상이 통계적으로 유의했다.

(※ 신뢰구간 수준이 본문에서 99%로, 표 캡션에서 95%로 기재되어 있다. 동일 실험 결과에 대해 서로 다른 유의 수준을 혼용한 기술적 오류다. — 논문 내부 불일치)

4.3 인간 A/B 평가

인간 평가자가 기본 출력과 Self-Refine 출력을 비교하여 어느 쪽이 더 나은지 판단하는 A/B 테스트를 수행했다.

태스크별 Self-Refine 선호율

태스크	Self-Refine 선호율
감정 반전	75%
대화 응답	47.58%
약어 생성	44.59%

대화 응답 모델별 세부 결과

모델	Self-Refine 승률
GPT-3.5	36%
ChatGPT	48%
GPT-4	54%

이 패턴은 피드백 생성 능력이 모델 규모에 비례한다는 점을 시사한다. 약한 모델은 출력도 낮은 품질이지만 피드백도 부정확하여 개선이 제한된다. GPT-3.5에서 승률이 36%로 과반에 미달하는 점은, 약한 모델에서 Self-Refine 적용이 기본 출력보다 나쁠 수 있는 경우가 존재함을 시사한다.

4.4 Oracle 피드백 실험

Oracle 피드백은 모델 자체 피드백 대신 정답 기반의 이상적 피드백을 제공했을 때의 성능 상한선을 측정하는 실험이다.

모델	Oracle 피드백 향상폭
GPT-3.5	+4.8%p
ChatGPT	+1.4%p
GPT-4	+0.7%p

GPT-3.5에서 자체 피드백과 Oracle 피드백 간 격차가 가장 크고, GPT-4에서 가장 작다. GPT-4의 자체 피드백이 이미 Oracle에 근접한다는 증거다.

(※ GPT-3.5 Base 성능이 주 결과표에서 64.1, Oracle 비교표에서 64.06으로 보고되었다. 소수점 반올림 처리의 일관성이 결여되어 있다. — 논문 내부 불일치)

GSM Oracle 반복별 정확도 (ChatGPT)

단계	정확도
$y_0$ (초기)	71.34%
$y_1$	73.39%
$y_2$	75.06%
$y_3$	75.74%
$y_4$ (최종)	76.19%

(※ Oracle 반복 실험의 초기값 71.34%는 주 결과표의 ChatGPT Base 74.8%와 약 3.5%p 불일치한다. 실험 설정이 두 실험 간에 달랐을 가능성이 있으나 논문 내 명시적 설명이 없다. — 논문 내부 불일치)

4.5 SOTA 비교

벤치마크	Self-Refine	비교 대상	차이
GSM-8K	94.5%	PaL 93.3%	+1.2%p
PIE	36.0%	PIE-Few-shot 38.3%	-2.3%p

GSM-8K에서 Self-Refine이 1.2%p 우위이나, 앞서 언급한 대로 Self-Refine의 반복 정제 기여분은 0~0.2%p에 불과하고 대부분의 성능은 GPT-4 기본 능력에서 비롯된다. PIE(코드 최적화)에서는 Self-Refine이 전용 SOTA 모델에 2.3%p 뒤진다. 범용 반복 정제가 도메인 특화 접근법을 항상 이기지는 못한다.

(※ Codex Direct 성능이 Codex 상세 분석표에서 9.7%, SOTA 비교표에서 13.1%로 기재되어 있다. 평가 셋업이나 측정 기준 차이에 의한 것으로 추정되나 논문 내 명시적 설명이 없다. — 논문 내부 불일치)

4.6 코드 가독성: 인간 전문가 대비

지표	Self-Refine (T=0.7)	Self-Refine (T=0.0)	인간 전문가
변수명 품질	0.700	0.628	0.653
함수 분리	1.33	1.41	0.70

T=0.7(확률적) 설정에서 변수명 품질이 인간 전문가(0.653)를 상회하는 0.700을 기록했다.

5. 심층 분석

5.1 피드백 구체성의 영향

Self-Refine의 핵심 가설은 "피드백이 구체적일수록 정제 품질이 높아진다"는 것이다. 세 가지 피드백 조건—구체적(specific), 일반적(generic), 없음(none)—을 비교했다.

태스크	구체적	일반적	없음
코드 최적화	27.5%	26.0%	24.8%
감정 반전	43.2%	31.2%	0%
약어 생성	56.4%	54.0%	48.0%

감정 반전에서 피드백 부재 시 정제 자체가 불가능(0%)했다. 감정 극성 반전처럼 특정 방향 전환을 요구하는 태스크에서는, 구체적 피드백 없이 모델이 무엇을 바꿔야 하는지 파악하지 못한다.

핀포인트 피드백(문제 지점을 정확히 지목)과 일반적 피드백의 정밀 비교에서는 더 극적인 차이가 나타난다.

측정	핀포인트	일반적
감정 선호도	85%	73%
표현 강렬함 선호도	80.09%	58.92%

약 12~21%p의 격차는 피드백의 구체성 수준이 Self-Refine 성능의 핵심 병목임을 보여준다.

5.2 반복 횟수에 따른 수확 체감

반복 횟수에 따른 성능 변화는 전형적인 수확 체감(diminishing returns) 패턴을 따른다.

제약 조건 생성 — 반복별 향상폭

반복	누적 향상	해당 반복 향상폭
1회차	+11.3	+11.3
2회차	+17.7	+6.4
3회차	+20.7	+3.0

매 반복마다 향상폭이 절반 가까이 줄어든다. 초기 반복에서 명확한 오류가 교정되고, 이후 반복에서는 개선 여지가 점점 줄어들기 때문이다.

단, 감정 반전에서는 예외가 관찰된다. 2회차 정제(+1.2)가 1회차(+1.0)보다 더 큰 향상을 보이는데, 감정 극성 반전이라는 태스크 특성상 1회차에서 부분적 반전만 이루어지고, 2회차에서 나머지 감정 요소까지 전환되는 2단계 교정 과정이 필요하기 때문으로 해석된다.

추론 비용의 선형 증가

반복 횟수	API 호출 수	비용 배수
0 (INIT만)	1	1x
1	3	3x
2	5	5x
3	7	7x
4 (최대)	9	약 9x

반복마다 FEEDBACK + REFINE 두 번의 LLM 호출이 추가되므로, $n$ 번 반복 시 총 $2n+1$ 회 호출이 필요하다. 토큰 수 기준으로도 이전 출력과 피드백을 컨텍스트에 누적하므로 입력 길이가 반복마다 증가한다.

5.3 정제 vs 다중 샘플링

Self-Refine의 반복 정제가 단순히 여러 번 독립적으로 생성하는 것(다중 샘플링)보다 나은지를 검증하기 위해, 1회 정제(Self-Refine)와 k=4 독립 샘플링을 비교했다.

감정 반전과 약어 생성 두 태스크 모두에서 1회 정제가 4회 독립 샘플링보다 우수했다. Self-Refine의 피드백이 단순한 확률적 재시도가 아니라, 이전 출력의 구체적 문제점을 지목하여 방향성 있는 개선을 유도하기 때문이다. 동일한 연산 비용이라면 독립적으로 여러 번 생성하는 것보다 피드백 기반 정제가 더 효율적이다.

5.4 Codex 코드 최적화 상세

코드 최적화 태스크에서 Codex 기반으로 여러 설정을 비교한 결과:

설정	종합 점수
Direct (기본 생성)	9.7%
피드백 없이 정제 (2회)	10.4%
Self-Refine 전체 (2회)	15.6%

피드백이 있는 Self-Refine 전체가 Direct 대비 +5.9%p로 확연한 우위를 보인다.

주목할 점은 1회차 정제에서 속도가 오히려 하락하는 비선형 패턴이다. 1회차에서 모델이 코드 구조를 대폭 변경하면서 일시적으로 실행 효율이 떨어지고, 2회차에서 피드백을 통해 구조적 문제를 교정하면서 속도가 반등한다. 이는 정확성 + 속도 + 가독성이 공존하는 태스크에서, 한 축의 개선이 다른 축의 일시적 퇴보를 유발하는 목표 간 트레이드오프 현상이다.

5.5 Mixed-Refine: 약한 모델 + 강한 모델 조합

Vicuna-13B는 단독으로 Self-Refine을 수행할 때 완전히 실패한다. 구체적 양상은 다음과 같다.

구조적 파싱 오류: JSON이나 특정 포맷을 요구하는 피드백 생성에서 형식을 맞추지 못함
대화 패턴 삽입: 피드백을 생성해야 하는 자리에 챗봇 응답 패턴을 출력
피드백-정제 불연속: 피드백을 생성하더라도 정제 단계에서 해당 피드백을 반영하지 못함

그러나 Mixed-Refine 설정—Vicuna-13B가 초기 생성을 담당하고 ChatGPT가 피드백과 정제를 수행—에서는 24.18%에서 40.5%로 +16.3%p 향상이 발생했다. Self-Refine 프레임워크의 가치가 "동일 모델의 자기 개선"에 국한되지 않고, 약한 모델의 초기 출력을 강한 모델이 교정하는 크로스 모델 정제로 확장 가능함을 보여준다.

이는 Self-Refine이 모델의 기본 능력에 대한 하한선(floor)이 존재함을 의미한다. 대략 GPT-3.5급 이상의 instruction following 능력이 필요하다.

5.6 비단조적 품질 변화

약어 생성 태스크에서 반복별 점수가 11 → 17 → 12 → 17로 비단조적(non-monotonic) 변화를 보이는 사례가 관찰되었다. 2회차에서 17점으로 개선되었다가 3회차에서 12점으로 급락한 뒤 4회차에서 다시 17점으로 회복하는 진동 패턴이다.

이는 LLM의 피드백이 때로 과교정(overcorrection)을 유발하기 때문이다. 한 측면을 개선하려다 이전에 잘 되어 있던 다른 측면을 훼손하고, 다음 피드백에서 다시 원래 문제를 지적하는 "시소 현상"이 발생한다. 이 패턴은 무조건적인 반복 증가가 아니라, 품질 모니터링 기반의 조기 종료 전략이 필요함을 시사한다.

5.7 정성적 오류 분석

오류 원인 분포를 보면 전체 실패 사례 중:

오류 원인	비율
피드백이 부적절한 수정을 제안	61%
피드백이 오류 위치를 잘못 지적	33%
정제기 구현 오류	6%

Self-Refine 실패의 압도적 다수(94%)는 정제 과정이 아닌 피드백 생성 단계에서 발생한다. 피드백이 정확하면 정제기는 94%의 확률로 이를 잘 반영한다. 병목은 "어떻게 고칠 것인가"가 아니라 "무엇이 잘못인지 정확히 진단하는 것"이다.

대화 응답 태스크에서 잘못된 피드백(실제로는 문제가 없는데 문제를 지적하는 경우)을 정제기가 무시한 비율이 60%에 달한다. 정제기가 피드백을 맹목적으로 따르지 않고 어느 정도 자체 판단력을 발휘한다는 의미이지만, 동시에 40%의 경우에는 잘못된 피드백을 수용하여 품질이 하락했다. 피드백 필터링 메커니즘이 없는 현 구조의 취약점이다.

6. 한계점 및 후속 연구

6.1 한계점

1. 모델 능력 의존성: Self-Refine의 성능 상한은 기저 모델의 능력에 완전히 종속된다. Vicuna-13B 같은 상대적으로 약한 모델에서는 피드백 자체가 부정확하여 정제가 오히려 품질을 악화시켰다. "피드백을 생성할 능력이 없는 모델은 자기 개선도 불가능하다"는 근본적 한계를 보여준다.

2. 수학적 자기검증 한계: GSM-8K 태스크에서 Self-Refine은 거의 무효했다(향상폭 0~0.2%p). 수학 문제는 정답이 명확하고 부분 정확성이란 개념이 희박하기 때문에, 모델이 처음에 틀린 풀이를 했다면 자체 피드백으로도 오류를 발견하기 어렵다. ChatGPT의 경우 94%의 인스턴스에서 피드백이 "everything looks good"이었다. 이는 Self-Refine이 "이미 대략 맞는 출력을 다듬는 데" 강하고, "근본적으로 틀린 출력을 고치는 데"는 약하다는 것을 의미한다.

3. 비공개 모델 의존: 실험이 GPT-3.5, ChatGPT, GPT-4 등 OpenAI의 비공개 모델에서만 수행되었다. 재현성이 제한되며, 모델 업데이트에 따라 결과가 달라질 수 있다.

4. 영어 한정 평가: 모든 태스크와 평가가 영어로만 수행되었다. 다국어 환경에서의 피드백 품질과 정제 효과는 검증되지 않았다.

5. 추론 비용 증가: 최대 4회 반복 시 기본 생성 대비 약 9배의 API 호출이 필요하다. 일부 태스크에서는 개선 폭이 미미하여 비용 효율이 매우 낮을 수 있다. 특히 이미 고품질인 초기 출력에 대해서는 정제의 한계 효용이 거의 0에 수렴한다. 논문에서 이 비용 트레이드오프를 명시적으로 깊이 논의하지 않았다.

6. 인간 평가의 편향 가능성: 인간 A/B 평가가 블라인드 설계이지만, 저자들이 직접 수행했을 가능성이 있어 무의식적 편향이 개입될 수 있다. 독립 평가자에 의한 검증이 부족하다.

7. 악의적 사용 가능성: 자동 정제 루프가 유해 콘텐츠 생성을 반복적으로 개선하는 데 악용될 수 있다. 예를 들어 피싱 이메일을 더 설득력 있게 다듬거나, 탐지를 회피하는 방향으로 정제할 가능성이 있다.

8. temperature 0.7의 양면성: 다양성 확보를 위해 temperature를 0.7로 통일했으나, 코드 최적화나 수학 추론처럼 정확성이 중요한 태스크에서는 높은 temperature가 피드백의 일관성을 저해할 수 있다. 태스크별 temperature 튜닝은 수행되지 않았다.

9. 최고점 선택 전략의 한계: 약어·대화 태스크에서 "반복 중 최고점"을 선택하는 전략은 피드백 채점 자체가 정확하다는 전제에 의존한다. 피드백 점수가 부정확하면 실제로 더 나쁜 출력을 최종 선택할 수 있다.

6.2 후속 연구 방향

1. 피드백 품질 개선: 피드백 생성 프롬프트를 체계화하거나, 피드백의 신뢰도를 자체 평가하는 메타 피드백(meta-feedback) 메커니즘을 도입할 수 있다.

2. 외부 신호 결합: 순수 자체 피드백의 한계를 보완하기 위해, 코드 실행 결과, 검색 엔진 결과, 도구 호출 결과 등 외부 신호를 피드백에 통합하는 방향이다. 수학 추론에서의 실패를 외부 검증기로 보완할 수 있다.

3. 혼합 정제: 프롬프트 기반과 학습 기반 정제를 결합한다. 경량 어댑터를 훈련하여 피드백 품질을 높이되, 기저 모델은 고정하는 방식이다.

4. 견고성 강화: 피드백이 출력을 악화시키는 경우를 탐지하는 안전장치를 도입한다. 정제 전후 품질을 비교하여 악화 시 이전 버전으로 롤백하는 전략이다.

5. 출력 선택 전략: 반복 정제의 각 단계에서 생성된 모든 중간 출력 중 최선을 선택하는 전략이다. 별도 선택기나 자체 평가 점수로 최적 출력을 고르는 방법으로, Best-of-N 샘플링과 결합될 수 있다.

7. 주요 기여 요약

감독 없는 다면적 피드백 + 반복 정제를 동시에 갖춘 유일한 방법: 추가 학습, 보상 모델, 인간 감독 없이 단일 LLM의 퓨샷 프롬프팅만으로 작동한다.
7개 다양한 태스크에서 일관된 향상 입증: 대화, 코드, 수학, 감정, 약어, 제약 조건 생성 등 이질적인 태스크군에 동일 프레임워크를 적용했다.
실패의 94%가 피드백 단계에 기인: 정성적 오류 분석을 통해 병목이 REFINE이 아닌 FEEDBACK에 있음을 밝혀, 후속 연구 방향을 제시했다.
정제기의 비대칭적 견고성 발견: 잘못된 피드백을 무시하는 능력(60%)이 좋은 피드백을 무시하는 비율(25%)보다 높아, 피드백 품질이 불완전해도 시스템이 작동하는 메커니즘을 확인했다.

참고: 핵심 선행 연구

방법	핵심 메커니즘	Self-Refine과의 차이
PEER	편집 계획→실행 모듈을 별도 학습	피드백·정제 모두 감독 학습 필요
Self-Correction	자기 피드백으로 오류 교정	정제에 별도 학습 필요, 단일 측면, 비반복
Reflexion	에피소드 메모리 기반 반복 개선	외부 환경 신호에 의존, 다면적 아님
CodeRL	컴파일·테스트 결과를 보상으로 활용	스칼라 보상, 코드 도메인 한정, 별도 학습 필요
Re3	LLM 기반 피드백 + 정제 (1회)	단일 측면, 비반복(1회성)
Augmenter	규칙 기반 피드백 + 프롬프트 정제	피드백이 규칙 기반, 비반복
PaL	LLM이 Python 코드로 추론 수행	정제 프레임워크가 아닌 추론 방식
RLHF	인간 선호도로 보상 모델 학습 후 RL로 파인튜닝	모델 파라미터 업데이트 필요, 학습 인프라 필수

Self-Consistency Improves Chain of Thought Reasoning in Language Models

urban-dandelion — Mon, 4 May 2026 21:31:24 +0900

type: paper
source: https://arxiv.org/abs/2203.11171

Self-Consistency Improves Chain of Thought Reasoning in Language Models

항목	내용
저자	Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
연도	2022
arXiv	2203.11171
분야
인용 수	0 (Semantic Scholar 기준)

1. 배경 및 문제 정의

복잡한 추론 문제에는 정답에 도달하는 경로가 하나만 존재하지 않는다. "사과 3개에서 2개를 먹으면 몇 개 남는가?"라는 문제를 풀 때, 뺄셈으로 접근할 수도 있고 남은 것을 세는 방식으로 접근할 수도 있지만, 올바른 추론이라면 결국 같은 답(1개)에 수렴한다. Self-consistency는 이 직관을 디코딩 전략으로 정형화한 것이다.

기존 Chain-of-thought의 구조적 취약점

Chain-of-thought(CoT) 프롬프팅은 greedy decoding을 사용한다. Greedy decoding이란 매 토큰 생성 시 확률이 가장 높은 하나만 선택하는 방식으로, 단일 추론 경로만 생성한다. 이 방식은 해당 경로에서 실수가 발생하면 최종 답이 틀려지는 구조적 취약점을 갖는다. 한 번의 추론 실패가 전체 결과를 결정하며, 복구 메커니즘이 존재하지 않는다.

기존 대안의 한계

Verifier(검증기)나 re-ranker(재순위기)를 사용하는 방법은 별도의 학습 데이터와 fine-tuning이 필요하다. 이는 추가 모델 학습, 파라미터 조정, 보조 데이터셋 구축 등 상당한 비용을 수반한다. Self-consistency는 이 모든 과정 없이, 기존 CoT 프롬프트를 그대로 사용하면서 디코딩 전략만 교체하는 완전 비지도(unsupervised) 방식이다.

2. Self-Consistency 방법론

수학적 정의

Self-consistency(SC)는 CoT 프롬프팅에서 단일 greedy decoding 대신, 언어 모델의 디코더로부터 다수의 추론 경로를 샘플링한 뒤 최종 답변에 대해 다수결 투표(majority vote)를 수행하는 디코딩 전략이다.

핵심 수식은 다음과 같다:

$\hat{a} = \arg\max_{a} \sum_{i} \mathbf{1}(a_i = a)$

여기서 각 기호의 의미는 다음과 같다:
- $r_i$ : 샘플링된 개별 추론 경로(잠재 변수)
- $a_i$ : 해당 경로에서 도출된 최종 답변
- $\mathbf{1}(a_i = a)$ : 지시 함수(indicator function)로, $a_i$ 가 특정 답 $a$ 와 같으면 1, 아니면 0을 반환

이 수식의 의미는 추론 경로 $r_i$ 를 주변화(marginalize)하고, 답변 $a_i$ 에 대해서만 집계한다는 것이다. 어떤 경로를 거쳤는지는 무시하고, 최종 답변이 가장 많이 등장한 것을 선택한다.

3단계 절차: Sample-and-Marginalize

샘플링: 언어 모델의 디코더에서 temperature 등을 조절하여 다양한 추론 경로를 복수 생성한다.
답 추출: 각 추론 경로에서 최종 답변을 파싱한다.
다수결 투표: 가장 많이 등장한 답을 최종 답으로 선택한다.

이 절차의 핵심 원리는 다음과 같다. 올바른 답변은 여러 경로에서 일관되게(consistently) 도출될 가능성이 높은 반면, 잘못된 답변은 경로마다 다른 오답을 내놓아 표가 분산된다. 저자들은 이를 "self-ensemble"이라 부르는데, 단일 모델 내에서 다양한 출력을 앙상블하는 효과를 얻기 때문이다.

작동 예시

산술 추론 문제 "Janet's ducks lay 16 eggs per day..."에 대해 temperature를 높여 3회 샘플링하면:

경로 1: "16 − 3 = 13, 13 − 4 = 9, 9 × 2 = 18" → 답: 18
경로 2: "하루 16개 중 아침 3개 소비, 머핀 4개 소비, 남은 9개를 $2에 판매 → 9 × 2 = 18" → 답: 18
경로 3: "16 − 3 = 13, 13개 중 4개를 머핀에 사용... 계산 오류 ..." → 답: 20 (오류 경로)

다수결로 2/3이 18이므로 최종 답은 18이 선택된다. Greedy decoding이었다면 경로 3이 선택될 수도 있었을 상황에서, 다수결이 오류를 상쇄한다.

샘플링 호환성

SC는 다양한 샘플링 전략과 호환된다:

Temperature sampling: 온도 파라미터를 높여 출력 다양성을 증가시키는 방식
Top-k sampling: 확률 상위 $k$ 개 토큰에서만 샘플링하는 방식
Nucleus (top-p) sampling: 누적 확률이 $p$ 이하인 토큰 집합에서 샘플링하는 방식

이 유연성은 SC가 특정 디코딩 방식에 종속되지 않으며, 기존 인프라에 쉽게 통합 가능함을 의미한다.

3. 답변 집계 전략 비교

SC는 단순 다수결(majority vote) 외에도 여러 집계 전략을 실험하여, 어떤 집계 방식이 가장 효과적인지를 체계적으로 검증했다.

6가지 집계 전략

Greedy decode: 기존 CoT 방식. 가장 높은 확률의 토큰을 순차적으로 선택하여 단일 경로만 생성.
Weighted average (unnormalized): 각 추론 경로의 로그 확률을 가중치로 사용하여 답변의 가중 평균을 계산. 정규화 없이 사용.
Weighted average (normalized): 위와 동일하되, 시퀀스 길이로 로그 확률을 정규화.
Weighted sum (unnormalized): 각 답변에 대해 해당 답을 생성한 경로들의 로그 확률 합. 정규화 없음.
Weighted sum (normalized): 위와 동일하되, 길이 정규화 적용.
Majority vote (unweighted): 단순 다수결. 확률 가중치 없이 빈도만 카운트.

PaLM-540B 기준 집계 전략별 정확도 (%)

방법	GSM8K	SVAMP	AQuA	ARC-c	StrategyQA	ARC-e
Greedy decode	56.5	79.0	35.8	85.2	75.3	95.3
Weighted avg (unnorm)	56.3	56.8	29.5	78.7	67.8	91.2
Weighted avg (norm)	22.1	44.7	25.2	76.1	65.3	89.8
Weighted sum (unnorm)	59.9	80.1	38.6	84.9	74.1	95.1
Weighted sum (norm)	74.1	87.8	45.3	88.7	79.2	96.8
Majority vote	74.4	86.6	48.3	88.7	81.6	96.4

핵심 분석

Majority vote와 normalized weighted sum이 거의 동일한 성능을 보였다 (GSM8K에서 74.4 vs 74.1). 이는 대형 언어 모델의 출력 확률이 각 생성에 대해 유사하게 높게 분포하여, 확률 기반 가중치가 실질적으로 균등 가중치와 큰 차이를 만들지 못함을 시사한다. 즉, 대형 모델의 확률 보정(calibration)이 답변의 정확도를 신뢰성 있게 반영하지 못한다.

Normalized weighted average의 극단적 성능 저하: GSM8K에서 22.1%로, greedy decode(56.5%)보다 34.4%p나 낮은 성능을 기록했다. 가중 평균은 수치 답변을 확률로 가중 평균하는 방식인데, 정답이 "18"이고 오답이 "100"일 때 가중 평균이 "59"처럼 의미 없는 값을 산출한다. 이는 집계 전략의 선택이 성능에 치명적 영향을 미칠 수 있음을 보여준다.

Unnormalized 방식의 일관된 열위: 정규화를 적용하지 않은 weighted sum은 greedy decode와 비슷하거나 약간 나은 수준에 그쳤다. 긴 추론 경로는 토큰 수가 많아 로그 확률의 절대값이 커지므로, 정규화 없이는 짧은 경로에 부당한 편향이 생기기 때문이다.

4. 산술 추론 실험 결과

실험 설정

4개 언어 모델을 대상으로 실험을 수행했다:

UL2-20B: 200억 파라미터 규모의 비교적 소형 모델
GPT-3-175B: 1750억 파라미터 모델. code-davinci-001과 code-davinci-002 두 버전 사용
LaMDA-137B: 1370억 파라미터 대화 모델
PaLM-540B: 5400억 파라미터 모델로 실험 중 최대 규모

프롬프팅은 few-shot 방식으로 8개의 예시(exemplar)를 제공했다. 각 예시는 문제-풀이과정-답변의 CoT 형태로 구성된다. 샘플링 시 temperature $T = 0.5$ 또는 $0.7$ , top- $k = 40$ 을 사용했다.

평가 태스크 6종

AddSub: 덧셈/뺄셈 문장제 문제
MultiArith: 다단계 산술 문장제 문제
ASDiv: 다양한 유형의 산술 문장제 문제
AQuA: 대수적 단어 문제 (객관식)
SVAMP: 구조 변형을 통한 산술 추론 난이도 강화 벤치마크
GSM8K: 초등 수학 수준의 다단계 추론 문제 (가장 높은 난이도)

산술 추론 정확도 (%)

모델	방법	AddSub	MultiArith	ASDiv	AQuA	SVAMP	GSM8K
Previous SoTA	-	92.0	60.0	75.3	37.9	57.4	55.0
UL2-20B	CoT	48.1	27.2	42.7	20.5	36.4	4.1
UL2-20B	SC	51.0	33.7	45.7	23.6	39.4	7.0
LaMDA-137B	CoT	52.9	51.8	49.0	20.6	39.9	17.1
LaMDA-137B	SC	58.7	63.3	56.0	25.2	53.4	27.7
GPT-3 code-001	CoT	57.2	59.5	52.7	18.9	39.8	14.6
GPT-3 code-001	SC	67.8	82.7	61.9	25.6	54.5	23.4
GPT-3 code-002	CoT	87.6	96.8	79.6	42.1	76.4	60.1
GPT-3 code-002	SC	92.7	100.0	87.8	52.0	86.8	78.0
PaLM-540B	CoT	91.9	94.7	74.0	35.8	79.0	56.5
PaLM-540B	SC	93.7	99.3	81.9	48.3	86.6	74.4

핵심 발견: 모델 스케일과 SC 이득의 관계

모델 크기가 클수록 SC의 이득이 극적으로 증가한다. UL2-20B에서는 CoT 대비 +3~6%p 수준의 소폭 향상에 그쳤으나, 1000억 파라미터 이상 모델에서는 대폭 향상을 보였다. 이는 소형 모델에서는 산술 추론 능력 자체가 충분히 발현되지 않아, 다양한 경로를 샘플링해도 올바른 추론 경로의 비율이 낮기 때문이다.

GPT-3 code-davinci-002에서는 MultiArith에서 100.0%라는 완벽한 정확도를 달성했다. 이는 코드 학습 데이터가 산술 추론에 특히 유리하게 작용한 결과로 해석된다.

이미 높은 기준선에서의 포화 현상

AddSub처럼 CoT 기준선이 이미 90%를 넘는 경우(PaLM-540B CoT 91.9% → SC 93.7%), 절대적 향상폭은 +1.8%p로 축소된다. SC의 이점은 모델이 "거의 맞추지만 가끔 틀리는" 영역에서 극대화되며, 이미 포화 상태이거나 아예 능력이 부족한 양극단에서는 효과가 제한적이다.

5. 상식 추론, 기호 추론 및 NLP 태스크 결과

상식 추론

CommonsenseQA(CSQA), StrategyQA, ARC-easy, ARC-challenge 4개 태스크에서 SC는 모든 모델 스케일에 걸쳐 greedy CoT 대비 일관된 정확도 향상을 보였다.

상식/기호 추론 정확도 (%)

태스크	UL2 CoT	UL2 SC	GPT-3 CoT	GPT-3 SC	LaMDA CoT	LaMDA SC	PaLM CoT	PaLM SC	PaLM+code CoT	PaLM+code SC
CSQA	55.8	61.0	73.5	76.7	57.9	63.1	79.0	80.7	81.0	82.3
StrategyQA	54.7	59.4	65.4	74.0	65.4	70.0	75.3	81.6	77.8	82.9
ARC-easy	78.2	82.2	89.2	92.0	77.3	83.5	95.3	96.4	95.8	96.8
ARC-chall	42.2	45.6	60.5	63.5	48.7	54.6	85.2	88.7	86.4	90.1
Letter(4)	0.0	0.0	59.0	72.4	24.2	36.0	65.8	70.8	86.2	93.6
Coinflip(4)	50.0	55.0	69.8	84.2	52.8	63.2	88.2	91.2	99.6	100.0

기호 추론과 OOD 일반화

Last Letter Concatenation과 Coinflip 태스크는 프롬프트에서 2개 항목으로 예시를 보여주고, 테스트 시 4개 항목으로 확장하는 OOD(Out-of-Distribution) 설정이다. Coinflip(4)에서는 SC가 성능을 끌어올리지만, Letter(4)에서 UL2-20B는 CoT 자체가 0.0%이므로 SC를 적용해도 0.0%에 머문다. 기저 모델의 추론 능력이 근본적으로 부족하면 다양한 경로를 샘플링해도 올바른 답이 후보군에 포함되지 않기 때문이다.

CoT가 역효과를 내는 NLP 태스크에서의 SC 회복 효과

자연어 추론(NLI) 계열인 ANLI R1·R2·R3, e-SNLI, RTE와 질의응답인 BoolQ, HotpotQA에서 CoT 프롬프팅이 standard 프롬프팅보다 오히려 정확도가 낮아지는 현상이 관찰된다. 이 태스크들은 복잡한 다단계 추론보다 패턴 매칭이나 직관적 판단이 유리한 경우로, CoT가 불필요한 추론 단계를 삽입하여 오류를 유발한다.

그러나 SC를 적용하면 다수결 투표가 이런 산발적 오류 경로를 걸러내어, standard 프롬프팅은 물론 CoT까지 넘어서는 정확도를 회복한다.

CoT 역효과 태스크에서의 SC 회복 (PaLM-540B, 정확도 %)

태스크	Standard	CoT	SC
ANLI R1	69.1	68.8	78.5
ANLI R2	55.0	53.8	62.5
ANLI R3	55.4	56.5	64.2
e-SNLI	85.8	81.0	88.4
RTE	84.8	79.1	86.3
BoolQ	88.0	87.8	90.6
HotpotQA	35.2	33.8	36.4

ANLI R1에서 standard 69.1% → CoT 68.8%(−0.3%p) → SC 78.5%(+9.7%p), e-SNLI에서 85.8% → 81.0%(−4.8%p) → SC 88.4%(+7.4%p)로 대폭 회복된다. 다만 HotpotQA는 35.2% → 36.4%(+1.2%p)로 개선폭이 매우 작은데, 다중 문서 기반 복합 추론 태스크에서는 경로 다양성만으로 충분한 정답 수렴이 어려울 수 있음을 시사한다.

Greedy decode 오류를 SC가 수정하는 실제 예시

산술 추론 예시:
- 문제: "Olivia has $23. She bought five bagels for$ 3 each. How much money does she have left?"
- Greedy 경로(오답): "She bought 5 bagels for $3 each. This means she spent$ 3. $23 −$ 3 = $20." → **$ 20 (5개를 샀는데 1개 가격만 차감하는 오류)
- Sampled 경로(정답): "She bought 5 bagels for $3 each. So she spent$ 15. $23 −$ 15 = $8." → **$ 8
- SC는 다수의 sampled 경로에서 $8이 반복 등장하므로 다수결로 정답을 선택한다.

상식 추론 예시:
- 질문: "Yes or No: Would a vegetarian enjoy a typical Thanksgiving dinner?"
- Greedy 경로(오답): "A typical Thanksgiving dinner includes turkey, which is a vegetable. So a vegetarian would enjoy it." → Yes (turkey를 vegetable로 잘못 분류)
- Sampled 경로(정답): "A typical Thanksgiving dinner includes turkey. Turkey is meat. A vegetarian does not eat meat." → No
- 다수의 샘플 경로에서는 올바른 세계 지식이 활성화되어 다수결로 정답에 수렴한다.

6. 대안 디코딩/앙상블 전략과의 비교

Sample-and-Rank

Sample-and-rank는 여러 샘플을 생성한 뒤 로그 확률이 가장 높은 하나를 선택하는 방식이다. GPT-3(code-davinci-001)에서 동일한 샘플 수를 사용했을 때, SC가 큰 폭으로 우세했다. 로그 확률 기반 순위는 "가장 유창한 답"을 고르는 반면, SC의 다수결 투표는 "가장 많은 추론 경로가 수렴하는 답"을 고른다. 유창성(fluency)과 정확성(correctness)은 다른 기준이며, SC는 후자에 최적화된다.

Beam Search

Beam search는 디코딩 시 상위 $k$ 개 후보를 유지하며 탐색 공간을 넓히는 전통적 방법이다. UL2-20B 모델에서 beam size를 1~40으로 변화시키며 비교한 결과, beam search의 다양성 부족 문제가 드러났다.

Beam search vs Self-consistency (UL2-20B, 정확도 %)

방법	Beam size	AQuA	MultiArith
Top beam	1	23.6	33.3
Top beam	5	22.4	32.2
Top beam	10	18.5	32.7
Top beam	20	14.2	31.7
Top beam	40	10.2	30.5
SC (beam)	40	26.8	44.0
SC (sampling)	40	35.8	51.0

AQuA에서 beam size를 1→40으로 키우면 top beam 정확도가 23.6%→10.2%로 급락하는 역효과가 관찰되었다. Beam search는 확률이 높은 경로 주변만 탐색하므로 생성되는 추론 경로들이 서로 유사하다. SC의 작동 원리가 "다양한 경로의 수렴"에 기반하므로, 다양성이 낮은 beam search 출력은 SC의 이점을 살리지 못한다. 온도 기반 샘플링이 beam search보다 SC에 더 적합하다.

프롬프트 앙상블

LaMDA-137B에서 두 가지 프롬프트 앙상블 전략과 비교했다.

Prompt ensemble vs Self-consistency (LaMDA-137B, GSM8K, 정확도 %)

방법	정확도
Greedy CoT	17.1
Prompt permutation (40회)	19.2
Multiple prompts (3세트)	21.5
SC (40 샘플)	27.7

프롬프트 순서 변경은 표면적 다양성만 제공하고 추론 경로의 실질적 다양성은 제공하지 못한다. SC는 샘플링 온도를 통해 디코더 수준에서 다양성을 확보하므로, 프롬프트 조작보다 근본적으로 더 다양한 추론을 유도한다.

모델 앙상블

서로 다른 모델들의 출력에 다수결 투표를 적용하는 모델 앙상블과 비교했다. PaLM-540B 단일 모델의 SC 정확도가 74.4%인 반면, PaLM을 포함한 3개 모델 앙상블은 33.3%로 급락했다. 약한 모델 2개가 오답에 동의하면 강한 모델 1개의 정답이 묻히는 "dragging-down" 효과 때문이다. 모델 앙상블은 참여 모델의 역량이 균질할 때만 효과적이며, 역량 격차가 큰 경우 오히려 최강 모델 단독보다 못한 결과를 낳는다.

SC와 앙상블 결합

SC에 프롬프트 앙상블 등을 추가로 결합했을 때, 추가 이득은 미미했다. SC가 이미 샘플링 다양성을 통해 앙상블이 제공하는 이득의 대부분을 내재적으로 확보하고 있기 때문이다. 즉, SC 자체가 일종의 암묵적 앙상블(implicit ensemble)로 기능한다.

7. 강건성 분석

샘플링 하이퍼파라미터에 대한 강건성

PaLM-540B 모델을 사용한 GSM8K 실험에서, temperature $T$ 를 0.3~1.0, top- $k$ 와 nucleus sampling의 $p$ 값을 다양하게 설정해도 SC는 일관되게 greedy decoding 대비 성능 향상을 보였다. 실무 적용 시 하이퍼파라미터 튜닝 부담이 크게 줄어든다.

모델 스케일별 효과 (LaMDA 시리즈)

LaMDA 모델 시리즈의 전 스케일(422M, 2B, 8B, 68B, 137B)에서 SC를 적용한 결과, 모든 스케일에서 greedy CoT 대비 개선이 확인되었다. 다만 소형 모델(422M, 2B 등)에서는 이득 폭이 상대적으로 작았다. 모델이 클수록 SC의 이득이 커지는 스케일링 효과가 관찰되었다.

불완전 프롬프트에서의 강건성

Few-shot 예시 내의 숫자를 랜덤한 값으로 교체하여 질문-추론-답변 간 논리적 정합성이 깨진 프롬프트를 사용하는 실험을 수행했다. 이 조건에서 greedy CoT는 GSM8K 정확도가 14.9%로 크게 하락했으나, SC를 적용하면 23.4%로 상당 부분 회복되었다. 다만 정상 프롬프트(74.4%) 대비 여전히 크게 낮으므로, SC가 프롬프트 오류를 완전히 상쇄하지는 못하며 프롬프트 품질은 여전히 중요하다.

비자연어(방정식) 추론 경로

CoT 경로를 자연어 대신 방정식 형태로 생성하도록 유도한 경우, SC의 이득은 5.0% → 6.5%로 매우 제한적이었다. 방정식 경로가 자연어 경로에 비해 훨씬 짧고 정형화되어 있어, 샘플링된 경로 간 다양성이 부족하기 때문이다.

Zero-shot CoT와의 결합

Zero-shot CoT("Let's think step by step")에 SC를 결합한 결과, PaLM-540B GSM8K에서 43.0% → 69.2% (+26.2%p)라는 대폭적인 개선이 달성되었다. SC가 few-shot 설정뿐 아니라 zero-shot 설정에서도 강력하게 작동하며, 두 기법이 상보적임을 입증한다.

불완전 프롬프트 및 추론 경로 변형 실험 (PaLM-540B, GSM8K, 정확도 %)

조건	Greedy CoT	SC
정상 프롬프트 (자연어 경로)	56.5	74.4
숫자 랜덤 교체 프롬프트	14.9	23.4
방정식 추론 경로	5.0	6.5
Zero-shot CoT	43.0	69.2

프롬프트 세트에 대한 강건성

서로 다른 3개의 프롬프트 세트를 사용해도 SC는 +16.4% ~ +17.9% 범위에서 일관된 이득을 보였다. SC의 성능 향상이 특정 프롬프트 설계에 의존하지 않음을 확인해준다.

샘플 수와 정확도 관계

샘플링 경로를 1개에서 40개까지 늘리면 정확도가 단조 증가하다가 점차 수렴한다. 대부분의 태스크에서 10~20개 경로면 이득의 대부분을 확보할 수 있으며, 40개를 넘어가면 추가 이득이 미미해진다.

일관성 수준과 정확도의 상관관계

다수결 투표 시 최다 득표 답변의 투표 비율(일관성 수준)이 높을수록 해당 답변이 정답일 확률도 높았다. SC의 일관성 수준 자체가 모델의 불확실성 추정(uncertainty estimation) 지표로 활용 가능하다. 일관성이 낮은 문제는 모델이 확신이 없는 문제로 판별하여, 사람에게 위임하거나 추가 검증을 수행하는 데 활용할 수 있다.

8. 종합: 벤치마크별 CoT 대비 최대 향상폭

벤치마크	유형	CoT 대비 최대 향상폭
GSM8K	산술 추론	+17.9%p
SVAMP	산술 추론	+11.0%p
AQuA	산술 추론	+12.2%p
StrategyQA	상식 추론	+6.4%p
ARC-challenge	과학 추론	+3.9%p

위 수치는 각 벤치마크에서 가장 높은 성능을 보인 모델 기준의 최대 향상폭이며, 모두 해당 벤치마크의 새로운 SoTA를 기록했다.

9. 한계 및 주의사항

계산 비용의 선형 증가

SC는 한 질문에 대해 여러 번 디코딩을 수행하므로 추론 비용이 샘플 수에 비례하여 증가한다. 40개 경로 기준 단일 greedy decoding 대비 약 40배의 생성 비용이 발생한다. 실험에서 5~10개 경로만으로도 대부분의 이득을 확보할 수 있었으나, 실시간 서빙 환경에서는 여전히 부담이 된다.

소규모 모델에서의 제한적 효과

CoT 자체가 충분히 작동하지 않는 소규모 모델(예: UL2-20B 수준)에서는 다양한 경로를 샘플링해도 대부분이 오류 경로일 수 있어 다수결의 이점이 축소된다. SC는 "모델이 가끔은 맞출 수 있는" 수준의 능력을 전제로 한다.

고정 답변 집합 제약

다수결 투표는 답변이 이산적(discrete)이고 비교 가능해야 작동한다. 개방형 생성(open-ended generation), 요약, 번역 등 답변 공간이 열린 과제에서는 동일 의미의 답변이 표면적으로 다르게 표현되어 표가 분산되며, 직접 적용이 제한된다. 유사 답변 클러스터링을 통한 확장 가능성이 논의되지만, 구체적 구현은 향후 연구 과제로 남는다.

비사실적 추론 경로 생성

최종 답이 맞더라도 개별 추론 경로가 사실에 기반하지 않을 수 있다. 대표적 예시로, StrategyQA에서 "Hamster의 평균 수명은 약 10년이다"라는 사실 오류를 포함한 경로가 우연히 정답에 도달하는 경우가 관찰되었다 (실제 hamster 수명은 2~3년). 이는 SC를 근거 설명(explanation) 목적으로 활용할 때 신뢰도를 저해하는 요인이다.

추론 경로 다양성 부족 시 효과 감소

Temperature가 너무 낮거나 모델이 특정 패턴에 과적합되어 있으면 샘플링해도 유사한 경로만 반복 생성되어, 다수결의 오류 보정 효과가 사라진다. 방정식 추론 경로 실험(5.0→6.5, 이득 +1.5%p)이 이를 실증한다.

동률 발생

샘플 수가 적거나 오답 분포가 균등하면 다수결에서 동률이 발생할 수 있으며, 이 경우 답 선택이 임의적이 된다.

10. 관련 연구

언어 모델 추론

기존 연구는 산술·상식·기호 추론 각각에 특화된(task-specific) 모듈이나 학습 파이프라인을 설계하는 방식이 주류였다. SC는 프롬프트만으로 동작하며 추가 학습 없이 모델 종류·규모·과제 유형에 무관하게 적용할 수 있는 범용 디코딩 전략이라는 점에서 차별화된다.

샘플링 및 Re-ranking 기법

Temperature 조절, top- $k$ 샘플링, nucleus 샘플링, MBR 디코딩(후보 간 기대 손실 최소화) 등 디코딩 다양성을 확보하는 기존 기법이 존재한다. 여기에 Cobbe et al.은 별도의 verifier 모델을 학습시켜 풀이의 정답 여부를 판별하고, LaMDA는 re-ranker를 두어 후보 응답 품질을 재순위화한다. SC는 이들과 달리 별도 모델 학습 없이 다수결 투표만으로 후보를 선택한다.

추론 경로 추출과 다양성

시맨틱 그래프나 RNN 기반 검색을 활용해 추론 과정을 명시적으로 추출하는 연구에서도 다양한 추론 경로 확보가 정확도에 중요하다는 관찰이 있었지만, task-specific 학습 환경에 한정되었다. SC는 프롬프팅만으로 다양성을 확보한다는 점에서 이들을 일반화한다.

일관성 연구

대화 시스템의 응답 일관성, 설명의 일관성, 사실 추출에서의 비일관성 등 언어 모델의 일관성 문제를 다룬 선행 연구가 존재한다. SC는 이러한 일관성 개념을 디코딩 전략에 직접 통합한 첫 시도다.

11. 결론: 핵심 기여 3가지

정확도 향상 — 추가 학습 없이 CoT 대비 대폭 성능 향상 (GSM8K +17.9%p, SVAMP +11.0%p, AQuA +12.2%p 등). 다수의 벤치마크에서 SoTA 갱신.
근거 수집 — 다수결로 선택된 답에 도달한 여러 추론 경로가 자연스럽게 해당 답의 근거 집합이 되어, 다각적 설명을 제공.
불확실성 추정 — 투표 분포 자체가 모델의 확신도를 반영. 투표가 고르게 분산되면 모델이 불확실하다는 신호로 활용 가능하며, 사람에게 위임하거나 추가 검증을 수행하는 판단 기준이 된다.

향후 방향

SC로 생성한 고품질 정답 데이터를 fine-tuning에 활용하는 자기 학습(self-training) 가능성
추론 경로의 사실 기반(factual grounding) 향상 연구
Open-text 답변에 대한 유사 답변 클러스터링 기반 확장

참고: 핵심 선행 연구

Chain-of-Thought Prompting (Wei et al., 2022): few-shot 예시에 중간 추론 과정을 포함시켜 언어 모델의 추론 능력을 유도하는 프롬프팅 기법. SC가 대체하는 기존 디코딩 방식(greedy decoding)의 기반.
Verifier 기반 접근 (Cobbe et al., 2021): 수학 문제 풀이에 대해 별도의 검증 모델을 학습시켜 정답 여부를 판별하는 방식. SC와 달리 추가 학습이 필요하다.
LaMDA (Thoppilan et al., 2022): 대화 모델에 re-ranker를 두어 후보 응답의 품질을 재순위화하는 방식. SC의 비학습 기반 접근과 대비된다.
Minimum Bayes Risk (MBR) Decoding: 후보 번역/생성 간 기대 손실을 최소화하는 디코딩 전략. SC는 MBR의 복잡한 유사도 계산 대신 단순 다수결로 후보를 선택한다.
Zero-shot CoT (Kojima et al., 2022): "Let's think step by step"이라는 단일 프롬프트로 추론을 유도하는 기법. SC와 결합 시 GSM8K에서 43.0% → 69.2%로 대폭 향상되어 상보성이 입증되었다.

large-language-models-are-zero-shot-reasoners

urban-dandelion — Mon, 4 May 2026 21:30:42 +0900

type: paper
source: https://arxiv.org/abs/2205.11916

Large Language Models are Zero-Shot Reasoners

항목	내용
저자	Takeshi Kojima, S. Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa
연도	2022
arXiv	2205.11916
분야	Computer Science
인용 수	6807 (Semantic Scholar 기준)

1. 배경 및 문제 정의

1.1 언어 모델의 규모 확장과 프롬프팅 패러다임

언어 모델(Language Model)의 목적은 텍스트에 대한 확률 분포를 추정하는 것이다. 모델 파라미터 수가 수백만(2016년대) → 수억(BERT 수준) → 수천억(GPT-3 등) 규모로 확장되면서, 대형 모델에서 이전에 관찰되지 않던 능력이 나타나기 시작했다.

특히 1,000억(100B) 이상의 파라미터를 가진 모델은 인-컨텍스트 학습(in-context learning) 이 가능해진다. 인-컨텍스트 학습이란 모델의 파라미터를 업데이트(학습)하지 않고, 프롬프트 내에 예시를 제공하는 것만으로 새로운 태스크를 처리하는 방식이다. 이로 인해 "사전학습 → 파인튜닝" 패러다임에서 "사전학습 → 프롬프팅" 패러다임으로 전환이 이루어졌다.

이 논문은 프롬프팅을 두 가지로 명확히 정의한다.

Few-shot 프롬프트: 태스크 예시(입력-출력 쌍)를 컨텍스트에 명시적으로 포함하는 방식
Zero-shot 프롬프트: 예시 없이 템플릿(지시문)만 사용하는 방식

1.2 Few-shot CoT의 등장

다단계 산술·논리 추론 벤치마크(benchmark)는 스케일링 법칙(scaling law, 모델 크기와 데이터 증가에 따라 성능이 예측 가능하게 향상되는 법칙)의 예외 영역이다. 즉, 모델을 키워도 이 유형의 태스크에서는 성능이 거의 오르지 않았다.

Chain-of-Thought(CoT) 프롬프팅은 이 문제를 해결하기 위해 등장했다. Wei et al.이 제안한 CoT 프롬프팅은 few-shot 예시의 답변 부분을 단계별 추론 과정으로 교체하는 기법이다. 기존의 (입력 → 출력) 쌍 대신 (입력 → 추론 과정 → 출력) 트리플을 예시로 제공하여, 모델이 중간 추론 단계를 생성하도록 유도한다.

이 방식은 PaLM처럼 매우 큰 모델과 결합될 때 어려운 벤치마크에서 큰 성능 향상을 달성한다.

1.3 Few-shot CoT의 한계와 연구 공백

Few-shot CoT는 효과적이지만 두 가지 근본적 한계를 안고 있다.

첫째, 태스크 종속성 문제. 태스크마다 단계별 추론 예시를 수작업으로 작성해야 하므로, 태스크 수가 늘수록 엔지니어링 비용이 선형적으로 증가한다.

둘째, zero-shot 기준선의 부재. Wei et al.의 원본 CoT 연구에서는 zero-shot baseline 성능조차 보고하지 않았다. Few-shot learning이 이런 난이도 높은 태스크를 다루는 당연한 전제로 받아들여졌기 때문이다.

이 두 공백이 본 논문의 직접적인 출발점이 된다. 연구 커뮤니티가 zero-shot 추론 가능성을 전혀 탐색하지 않았다는 사실 자체가, LLM 내부에 잠재된 추론 능력이 적절한 프롬프트 신호만으로 활성화될 수 있는지를 검증할 동기를 제공한다.

2. 제안 방법: Zero-shot Chain-of-Thought

2.1 핵심 아이디어

Zero-shot-CoT의 핵심은 단순하다. "Let's think step by step" 이라는 단일 고정 문구를 답변 앞에 삽입하여, 모델이 중간 추론 과정을 생성하도록 유도하는 것이다.

이 방법은 두 가지 선행 접근법과 명확히 구분된다.

비교 대상	Zero-shot-CoT와의 차이
Few-shot-CoT (Wei et al.)	단계별 추론 예시(few-shot examples) 자체가 불필요
기존 템플릿 프롬프팅 (Liu et al.)	태스크에 무관하게(task-agnostic) 작동하며, 단일 템플릿으로 다중 추론 단계를 유도

즉, Zero-shot-CoT는 "예시도 없고, 태스크 전용 설계도 없다"는 점에서 이전의 모든 접근과 구분된다.

2.2 Two-Stage 구조

Zero-shot-CoT는 두 단계로 작동한다.

Stage 1 — 추론 생성 단계.
입력 프롬프트 끝에 "Let's think step by step" (또는 유사 문구)을 삽입한다. 모델은 이 신호에 반응하여 중간 추론 과정(step-by-step reasoning)을 텍스트로 생성한다.

Stage 2 — 답변 추출 단계.
Stage 1에서 생성된 추론 텍스트를 포함한 전체 문맥을 다시 모델에 입력하여 최종 답을 추출한다. Stage 2의 구체적 메커니즘(추출 프롬프트 포맷, 디코딩 전략, 답변 파싱 방식)은 본문에서 상세히 기술되지 않으며, 개요 그림과 부록에서 보완된다.

2.3 설계 특성

Zero-shot-CoT의 세 가지 핵심 특성은 다음과 같다.

Few-shot 예시 불필요 — 단일 고정 문구로 작동한다.
Task-agnostic 단일 템플릿 — 태스크 유형별 커스터마이징이 없다.
Multi-hop reasoning(다단계 추론) 유도 가능 — 다단계 중간 상태를 명시적으로 생성한다.

이 한 줄의 문구가 CoT를 활성화한다는 것은, LLM 내부에 추론 능력이 이미 잠재되어 있으며 적절한 프롬프트 신호만으로 표면화될 수 있다는 가설을 함의한다.

2.4 프롬프트 템플릿 민감도

본 논문은 "Let's think step by step" 외에도 유사한 텍스트들을 별도 표에서 함께 실험했음을 명시한다. 특정 문구 선택이 임의적이지 않으며, 프롬프트 문구 자체의 민감도를 평가했음을 뜻한다. 역으로 말하면, 잘못된 문구를 선택하면 효과가 달라질 수 있음을 연구자 스스로 인지하고 있다.

3. 실험 설계 및 결과

3.1 실험 목적

실험 섹션은 두 가지 핵심 질문에 답하기 위해 설계되었다.

단순 프롬프트 삽입만으로 few-shot 예시 없이도 추론 성능이 유의미하게 향상되는가?
이 효과가 특정 태스크 유형에 국한되지 않고 범용적인가?

이 두 질문에 답하기 위해 산술·기호·논리 추론 등 이질적인 태스크 유형에 걸쳐 text-davinci-002와 PaLM 540B를 공통 베이스라인으로 사용하였다.

3.2 산술 추론 결과

MultiArith 벤치마크:

조건	정확도
Zero-shot (baseline)	17.5%
Zero-shot-CoT	78.7%
향상폭	+61.2%p

단 하나의 고정 프롬프트로 61%p 이상의 절대적 향상이 발생하였다.

(※ MultiArith Zero-shot baseline 수치는 논문 내부에서 불일치가 존재한다. 실험 본문에서는 17.5%로, 초록·서론에서는 17.7%로 보고되어 있다. 원인은 평가 시드 차이, 반올림, 또는 실험 variant 차이로 추정되나 본문에 명시되지 않았다.)

GSM8K (Grade School Math) 벤치마크:

조건	정확도
Zero-shot (baseline)	10.4%
Zero-shot-CoT	40.7%
향상폭	+30.3%p

MultiArith보다 절대 향상폭은 작지만, 베이스라인 대비 약 3.9배 성능 상승이다. GSM8K는 MultiArith보다 문제 복잡도가 높아 절대 수치는 낮지만, 비율적 향상은 여전히 크다.

스케일 맥락 비교 (PaLM 540B, GSM8K):

조건	정확도
Standard few-shot	17.9%
Few-shot CoT prompting	58.1%

PaLM 540B에서도 CoT 효과가 극적으로 나타난다. Zero-shot-CoT(text-davinci-002)가 달성한 40.7%는 PaLM 540B의 few-shot baseline(17.9%)을 이미 크게 상회한다.

3.3 기호 추론 결과

Last Letter Concatenation (4단어):

조건	정확도
Zero-shot (baseline)	~0%
Zero-shot-CoT	57.6%
향상폭	+57.6%p

이 태스크는 4개 단어의 마지막 글자를 순서대로 연결하는 작업으로, 직관적 처리(패턴 매칭)로는 거의 불가능하다. 베이스라인이 사실상 0%라는 것은 이 태스크가 중간 추론 단계 없이는 해결 불가능함을 의미한다. Stage 1이 바로 이 중간 상태를 명시적으로 생성하도록 모델을 유도하는 메커니즘이다.

Coin Flip:

조건	정확도
Zero-shot (baseline)	53.8%
Zero-shot-CoT	91.4%
향상폭	+37.6%p

Coin Flip은 동전의 뒤집기 순서를 추적하는 태스크로, 상태 추적(state tracking)이 핵심이다. 베이스라인 53.8%는 이진 태스크의 무작위 추측(50%) 수준에 가깝다. 즉 모델이 추론 없이 거의 찍기 수준으로 응답하고 있었으나, "Let's think step by step"을 추가하자 91.4%로 급상승했다.

3.4 태스크 유형 간 공통 패턴

산술(MultiArith, GSM8K)과 기호(Last Letter, Coin Flip) 두 유형 모두에서 대폭 향상이 관찰된다. 이 태스크들은 공통적으로 다단계 중간 상태(multi-step intermediate states) 를 필요로 한다. Two-stage 구조의 Stage 1이 바로 이 중간 상태를 명시적으로 생성하도록 모델을 유도하며, 이 공통 패턴이 Zero-shot-CoT의 task-agnostic 특성을 뒷받침한다.

모델이 내부에 잠재된 추론 절차를 갖고 있었으나, 활성화 신호가 없어 단답 모드로 응답하고 있었다는 가설은 이 결과들로 간접 지지된다.

3.5 전체 수치 요약

text-davinci-002 기준 주요 결과:

태스크	Zero-shot baseline	Zero-shot-CoT	향상폭
MultiArith	17.5%*	78.7%	+61.2%p
GSM8K	10.4%	40.7%	+30.3%p
Last Letter Concat (4단어)	~0%	57.6%	+57%p 이상
Coin Flip	53.8%	91.4%	+37.6%p

*논문 내 17.5%와 17.7% 두 수치가 혼재 — 논문 내부 불일치

3.6 수치 불일치 사항

논문 내부에서 동일 항목에 대해 상이한 수치가 보고되는 경우가 존재한다.

항목	위치 A	위치 B	차이
MultiArith Zero-shot baseline	초록·서론: 17.7%	실험 본문: 17.5%	0.2%p
GSM8K Zero-shot baseline	단독 실험: 10.4%	Self-Consistency 비교 실험: 12.5%	2.1%p

GSM8K의 2.1%p 차이는 비교 실험 구성이 달랐거나, Zero-shot-CoT-v2 variant 사용에 따른 차이로 추정되나, 본문에서 원인이 명시되지 않았다.

4. 추가 실험: Self-Consistency와 PaLM 540B

4.1 Self-Consistency의 개념

Self-consistency(Wang et al.)는 Zero-shot-CoT의 단일 추론 경로가 가진 오류 취약성을 보완하기 위한 앙상블(ensemble) 기법이다. 무작위 샘플링(random sampling)으로 N회 추론 경로를 생성한 뒤, 다수결(majority voting) 로 최종 답을 결정한다.

따라서 Zero-shot-CoT + self-consistency = "템플릿 1개 × N회 sampling → 다수결"이 되어 추론 안정성이 높아진다.

4.2 GSM8K Self-Consistency 결합 결과

방법	GSM8K 정확도
Standard Zero-shot	12.5%
Zero-shot-CoT-v2 + Self-Consistency	70.5%
Few-shot CoT (Wei et al.) + Self-Consistency	74.4%
Zero-shot과 Few-shot 격차	-3.9%p

Self-consistency를 결합하면 zero-shot 방법과 few-shot 방법의 성능 격차가 3.9%p로 좁혀진다. 이는 Zero-shot-CoT의 한계가 추론 능력 자체의 부재가 아니라, 단일 추론 경로의 분산(variance)에 기인함을 시사한다.

4.3 Zero-shot-CoT-v2

논문의 주석(commented-out) 영역에서 Zero-shot-CoT-v2라는 변형이 확인된다. 이 방법의 절차는 다음과 같다.

학습 데이터에서 소수 문제를 샘플링
Zero-shot-CoT로 해당 문제의 추론 경로 및 답을 자동 생성
이 Q/A 쌍(추론 텍스트 포함)을 few-shot 예시로 삽입

즉, Zero-shot-CoT-v2는 수작업 예시 없이 Zero-shot-CoT가 자동 생성한 추론 경로를 few-shot 예시로 재활용하는 자기 부트스트래핑(self-bootstrapping) 구조다. Zero-shot과 Few-shot의 경계를 흐리는 접근이다.

다만, Zero-shot-CoT-v2는 학습 데이터에서 문제를 샘플링하므로 순수 zero-shot이 아니라 학습 데이터 접근을 전제로 한다. "Zero-shot"이라는 용어의 엄밀한 정의와 충돌할 수 있다. 또한 이 내용이 최종 출판본에 포함되었는지 여부는 주석 처리 상태로 인해 불분명하다.

4.4 Self-Consistency의 비용 트레이드오프

Self-consistency는 추론 경로를 N회 샘플링하므로 추론 비용이 N배 증가한다. 효율성과 정확도 간 트레이드오프가 존재하며, N의 구체적 값은 본문에 명시되지 않았다.

5. 결론 및 논문의 한계

5.1 결론의 핵심 주장

결론부는 두 개의 독립적 주장 레이어로 구성된다.

레이어 1: 회고적 클레임 — 무엇을 달성했는가.

논문은 Zero-shot-CoT를 "미니멀리스트(minimalist)이자 가장 강력한 zero-shot baseline"으로 규정한다.

"미니멀리스트"의 의미: 태스크별 수작업 예시가 필요 없는 단일 고정 프롬프트만 사용한다.
"가장 강력한"의 근거: MultiArith +61.2%p, GSM8K +30.3%p, Coin Flip +37.6%p 향상이 실험으로 확인되었다.
핵심 기여 구조: 최소 비용과 최고 성능이 동시에 성립한다는 파레토 우위(Pareto improvement, 한 측면을 개선하면서 다른 측면을 악화시키지 않는 상태) 주장이다.

"스케일링 법칙을 오랫동안 벗어났던 태스크들"이라는 수식어는 중요한 함의를 담고 있다. 산술·기호 추론 등 system-2 태스크(의식적·분석적 사고를 요구하는 태스크)는 모델을 키워도 성능이 거의 오르지 않는 영역이었다. Zero-shot-CoT는 추가 파라미터 없이 프롬프트만으로 이 정체를 돌파했다. 따라서 결론은 단순히 "좋은 방법을 찾았다"가 아니라 "기존 스케일링으로 해결 안 되던 문제를 해결했다"는 더 강한 클레임을 내포한다.

레이어 2: 전향적 제언 — 커뮤니티에 무엇을 요구하는가.

"좁은 태스크 특화 스킬 대신, 광범위한 인지 능력을 끌어내는 multi-task 프롬프트 발굴"을 촉구한다.

논리 구조는 다음과 같다. Zero-shot-CoT가 단일 프롬프트로 여러 태스크에서 효과를 보였다 → LLM 내부에는 task-agnostic한 추론 잠재력이 있다 → 이를 일반적으로 활성화하는 더 나은 프롬프트를 찾을 수 있다.

단, 결론은 "어떻게 찾는가"에 대한 구체적 방법론을 제시하지 않으며, 순수한 연구 방향 제시 수준에 그친다.

5.2 결론에서 삭제된 한계

결론 초고의 LaTeX 주석에서 commonsense reasoning(상식 추론)에 대한 한계 언급이 발견된다. Zero-shot 기반 CoT 방법이 commonsense reasoning과 같은 일부 추론 태스크에서 효과적이지 않다는 내용이다.

이 내용은 최종 제출본에서 삭제되었으므로, 공식 결론은 한계를 명시하지 않는다. 독자가 결론만 읽으면 Zero-shot-CoT의 적용 범위 제한을 파악하기 어렵다.

5.3 실제 한계 정리

논문 전체를 종합하면, Zero-shot-CoT의 한계는 다음과 같이 정리된다.

1. Commonsense reasoning에서의 제한.
결론 초고 주석에서 확인되는 바와 같이, commonsense reasoning 태스크에서 Zero-shot-CoT는 효과가 제한적이다.

2. 모델 규모 의존성.
CoT 효과는 대규모 모델(text-davinci-002, PaLM 540B)에서 두드러지게 나타난다. 결론의 "strongest zero-shot baseline" 클레임은 대형 모델에 국한되며, 소규모 모델(PaLM 8B 등)에서는 CoT 유도가 효과가 없거나 역효과를 낼 수 있다. 결론이 이 조건을 명시하지 않아 일반화 오류를 유발할 수 있다.

3. Few-shot CoT 대비 열위.
Self-consistency와 결합해도 Zero-shot-CoT(70.5%)는 Few-shot CoT + Self-consistency(74.4%)에 미치지 못한다. "strongest zero-shot baseline"이라는 클레임은 zero-shot 설정 내에서만 유효하며, few-shot 방법과의 절대 비교에서는 여전히 뒤처진다.

4. 프롬프트 문구 선택의 민감도.
"Let's think step by step" 외 다양한 문구를 실험했다는 것은, 문구 선택에 따라 성능이 달라질 수 있음을 의미한다. 단일 문구의 보편성에 대한 보증은 제한적이다.

6. 방법론적 특성

6.1 순수 실증 연구

본 논문은 수학적 증명이나 정리를 포함하지 않는다. 순수 실증(empirical) 연구로서, "왜 'Let's think step by step'이 작동하는가"에 대한 이론적 설명은 제공되지 않는다. 메커니즘 해석은 여전히 열린 문제로 남는다.

6.2 오차 막대 부재와 그 정당성

실험에서 오차 막대(error bar)가 보고되지 않았다. 그 이유로 "GPT-3 API에서 greedy decoding을 사용했으며, 실험에 무작위성이 없다"를 명시했다.

Greedy decoding은 온도(temperature) 파라미터를 0으로 설정하여 항상 가장 확률이 높은 토큰을 선택하는 디코딩 전략이다. 따라서 동일 입력에 대해 항상 동일 출력이 생성되므로 반복 실험이 불필요하다.

이 선택은 재현 가능한 단일 점(single point) 추정이라는 점에서 정당하다. 다만, API 버전 업데이트나 프롬프트 문구의 미세 변화에 따른 성능 분산은 측정되지 않았다. 프롬프트 표현 변화(예: "Let's think step by step" vs "Think step by step")에 대한 민감도 분석 부재가 일반화 가능성에 의문을 남긴다.

6.3 인간 평가 부재

크라우드소싱이나 인간 주석(annotation)이 사용되지 않았다. 전적으로 자동화된 벤치마크 평가이며, 모델 출력의 정성적 품질은 정확도(exact match)로만 측정된다.

6.4 재현성 자료 공개

코드, 데이터, 실험 지시사항이 공개되었다. 프롬프트의 정확한 표현이 성능에 직접 영향을 미치는 프롬프팅 연구 특성상, 이는 중요한 기여다. 다만, PaLM 540B 실험은 Google 내부 인프라를 통해 수행되었으므로 공개 자료만으로는 재현이 불가능하다.

7. 연구 인프라 및 재현성

7.1 자금 및 기관 지원

이 연구는 도쿄대학교에 설치된 MbSC2030(Mohammed bin Salman Center for Future Science and Technology for Saudi-Japan Vision 2030)의 지원을 받았다. 사우디-일본 비전 2030 이니셔티브의 일환으로, 일본 학계와 중동 자금이 결합된 연구 기반이다.

7.2 컴퓨팅 자원의 물리적 분리

PaLM을 제외한 실험에는 AIST(National Institute of Advanced Industrial Science and Technology)가 운영하는 ABCI(AI Bridging Cloud Infrastructure)가 사용되었다.

PaLM 실험은 Google 내부 인프라를 통해 별도로 진행되었다. Jason Wei, Denny Zhou가 PaLM 실험 실행에 직접 관여했고, Sharan Narang, Aakanksha Chowdhery가 인프라를 지원했다.

이는 두 실험 환경이 물리적으로 분리되어 있음을 의미한다.

7.3 재현 가능성 제약

PaLM 540B 관련 수치는 Google 연구진과의 협력 없이는 독립적으로 재현하기 어렵다. 논문 본문에서 PaLM 재현 관련 프로토콜이 명시되지 않았기 때문이다. 이 점은 결과의 신뢰성 자체보다는 재현 가능성(reproducibility) 측면의 제약으로 이해해야 한다.

8. 부록: 정성적 분석 자료의 구조

8.1 부록 인덱스 구성

부록의 추가 실험 결과 섹션은 수치가 아닌 생성 텍스트의 정성적(qualitative) 비교를 제공하기 위해 구성되었다. 포함된 테이블 항목은 다음과 같다.

데이터셋별 생성 예시 텍스트
답변 추출 템플릿별 생성 예시 텍스트
모델 크기별 생성 예시 텍스트 (두 개 테이블로 분리 — 소형 모델과 대형 모델 비교)
Few-shot 기준 모델의 생성 예시 텍스트
Few-shot-CoT의 생성 예시 텍스트
다른 태스크의 예시를 사용한 Few-shot-CoT (예: CommonsenseQA 예시를 MultiArith에 적용)
Zero-Plus-Few-Shot-CoT 예시
PaLM 540B에서의 다양한 결과 시나리오 비교

8.2 주목할 항목

다른 태스크 예시의 전용(transfer) 실험:
CommonsenseQA의 예시를 MultiArith 태스크에 적용한 실험이 포함되어 있다. Few-shot-CoT는 태스크마다 수작업 예시가 필요한데, 다른 태스크의 예시를 사용해도 성능이 유지되는지를 검증하는 것이 목적이다.

Zero-Plus-Few-Shot-CoT:
Zero-shot-CoT로 생성한 추론 체인을 few-shot 예시로 재활용하는 하이브리드 방식으로 추정된다. 위에서 기술한 Zero-shot-CoT-v2와 관련된 변형일 가능성이 있으나, 정확한 정의는 주요 실험 섹션에서 확인이 필요하다.

PaLM 540B 다양한 결과 시나리오:
"different outcome scenarios"라는 표현은 Zero-shot-CoT가 모든 모델-태스크 조합에서 일관되게 우수하지 않을 수 있음을 시사한다. 논문이 이를 별도 테이블로 수록한 것은 실패 사례나 비일관적 사례를 숨기지 않겠다는 의도로 해석된다.

8.3 LaTeX 소스 주석 처리

제공된 LaTeX 소스에서 부록 테이블 입력 명령 5건이 주석(%) 처리되어 있다. 주석 처리된 테이블은 프롬프트 템플릿별, 모델 크기별, 데이터셋별, Few-shot, Few-shot-CoT 생성 예시다. 이들이 주석 처리된 이유가 출판 지면 절약인지, 내용 미완성인지, arXiv 업로드 시점의 초안 상태인지는 확인할 수 없다.

9. 미해결 사항 종합

#	항목	상태
1	MultiArith baseline 17.5% vs. 17.7% 불일치 원인	논문 내부 불일치, 원인 미명시
2	GSM8K Zero-shot baseline 10.4% vs. 12.5% 이중 보고 이유	실험 구성 차이로 추정, 미확인
3	Zero-shot-CoT-v2의 정확한 정의 및 출판본 포함 여부	주석 영역 출처, 불분명
4	Stage 2 답변 추출 방식의 구체적 메커니즘	개략적 역할만 확인, 상세 미명시
5	Self-consistency 샘플링 횟수(N)	본문 미명시
6	"Let's think step by step"이 작동하는 이론적 메커니즘	실증적 확인만 존재, 이론적 해명 미제공
7	Commonsense reasoning 한계 기술이 결론에서 삭제된 의도	의도적 범위 축소인지 편집 과정의 생략인지 불명확
8	Task-agnostic 주장의 정확한 적용 범위	효과가 제한되는 태스크 범주의 체계적 분석 미포함
9	Zero-Plus-Few-Shot-CoT의 정확한 정의	본문 확인 필요
10	소규모 모델에서의 역효과 정도	PaLM 540B, text-davinci-002 외 모델 결과 부재

참고: 핵심 선행 연구

선행 연구	본 논문과의 관계
Wei et al. — Chain-of-Thought Prompting	Few-shot CoT 원본. 단계별 추론 예시를 few-shot에 삽입하는 방식 제안. Zero-shot baseline을 보고하지 않아 본 논문의 직접적 동기가 됨
Wang et al. — Self-Consistency	다수결 기반 추론 경로 앙상블. Zero-shot-CoT와 결합 시 Few-shot CoT와의 격차를 3.9%p로 축소
Brown et al. — GPT-3	100B+ 모델의 인-컨텍스트 학습 능력 발견. "사전학습 → 프롬프팅" 패러다임 전환의 기반
Chowdhery et al. — PaLM	540B 파라미터 모델. 본 논문에서 대형 모델 검증에 사용. GSM8K에서 few-shot 17.9% → CoT 58.1% 달성
Liu et al. — Template Prompting	태스크별 템플릿 프롬프팅 연구. Zero-shot-CoT는 이와 달리 task-agnostic 단일 템플릿으로 multi-hop reasoning을 유도한다는 점에서 구분됨

least-to-most-prompting-enables-complex-reasoning-in-large-language-models

urban-dandelion — Mon, 4 May 2026 21:22:51 +0900

type: knowledge
created: 2026-04-15
source: https://arxiv.org/abs/2205.10625

Least-to-Most Prompting Enables Complex Reasoning in Large Language Models

항목	내용
저자	Denny Zhou, Nathanael Scharli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, D. Schuurmans, O. Bousquet, Quoc Le, Ed H. Chi
연도	2022
arXiv	2205.10625
분야	Computer Science
인용 수	1642 (Semantic Scholar 기준)

1. 배경 및 문제 정의

1.1 LLM 추론의 세 가지 과제

대규모 언어모델(LLM)이 인간 수준의 지능에 비해 뒤처지는 영역은 크게 세 축으로 정리된다.

Few-shot 학습: 인간은 소수 예시만으로 새로운 과제를 습득하지만, 기존 머신러닝 모델은 대량의 학습 데이터를 필요로 한다.
해석가능성(Interpretability): 인간은 자신의 추론 과정을 자연어로 설명할 수 있지만, 모델의 내부 추론은 불투명하다.
난이도 일반화(Easy-to-Hard Generalization): 인간은 쉬운 문제를 풀 줄 알면 그 조합으로 더 어려운 문제도 해결하지만, 모델은 프롬프트 예시보다 복잡한 문제에서 급격히 성능이 하락한다.

Chain-of-Thought(CoT) 프롬프팅은 중간 추론 단계를 명시적으로 생성하게 함으로써 첫 두 축(few-shot 학습, 해석가능성)을 크게 개선했다. 그러나 세 번째 축인 난이도 일반화에서는 여전히 실패한다. 프롬프트에 제시된 예시와 비슷한 수준의 문제에서는 CoT가 잘 작동하지만, 예시보다 더 많은 추론 단계가 필요한 문제로 넘어가면 정확도가 급락한다.

1.2 CoT의 구조적 한계

CoT의 난이도 일반화 실패는 예시 부족이 아니라 구조적 한계에 기인한다. CoT는 각 문제를 처음부터 끝까지 하나의 연속적 텍스트로 풀이하며, 중간 결과를 명시적으로 축적하는 메커니즘이 없다. 추론 단계가 많아지면 모델이 앞서 계산한 결과를 "잊어버리거나" 잘못 참조하는 오류가 체계적으로 발생한다.

이 한계가 가장 극명하게 드러나는 사례가 SCAN 벤치마크(자연어 명령을 행동 시퀀스로 변환하는 조합 일반화 과제)에서의 16.2%라는 정확도다. CoT는 프롬프트 예시의 추론 패턴을 모방하는 데 그치며, 해당 패턴을 재귀적으로 확장하는 능력이 부족하다.

2. 방법론

2.1 핵심 아이디어: 분해 → 순차 풀이

Least-to-Most(L2M) 프롬프팅은 교육심리학의 스캐폴딩(scaffolding) 개념에서 차용한 전략이다. "Least-to-Most"라는 용어 자체가 응용행동분석(Applied Behavior Analysis)에서 가장 적은 도움에서 시작해 점진적으로 지원을 늘리는 교수법에서 유래했다.

L2M은 분해(Decomposition)와 순차적 풀이(Sequential Solving) 두 단계로 구성되며, 두 단계 모두 few-shot prompting으로 구현되어 별도 학습이나 파인튜닝이 불필요하다.

1단계 — 분해(Decomposition): 복잡한 원래 문제를 더 쉬운 하위 문제(sub-problem)들의 시퀀스로 쪼갠다. 프롬프트 구성은 단순하다: 상수(constant) 분해 예시 + 분해 대상 질문. LLM은 복잡한 문제를 더 단순한 하위 문제 목록으로 스스로 분해한다.

2단계 — 순차적 풀이(Sequential Solving): 가장 쉬운 하위 문제부터 순서대로 풀되, 이전 하위 문제의 답을 다음 하위 문제의 컨텍스트에 누적 추가하는 것이 핵심이다. 프롬프트는 세 부분으로 구성된다:

하위 문제 풀이 방법을 보여주는 상수 예시
이전에 풀린 하위 문제-답 쌍 (처음에는 비어 있음, 풀이가 진행될수록 누적)
현재 풀어야 할 하위 문제

원래 문제 자체는 마지막 하위 문제로 추가된다.

2.2 구체적 작동 흐름

입력 문제: "Elsa has 5 apples. Anna has 2 more apples than Elsa. How many apples do they have together?"

분해 결과:
- 하위 문제 1: "How many apples does Anna have?"
- 하위 문제 2(= 원래 문제): "How many apples do they have together?"

순차 풀이:
- 풀이 1: [상수 예시] + [빈 이전 답] + "How many apples does Anna have?" → Anna has 2 + 5 = 7 apples.
- 풀이 2: [상수 예시] + [이전 답: Anna has 7 apples] + "How many apples do they have together?" → 5 + 7 = 12 apples together. → 최종 답: 12

이 구조의 핵심은 각 하위 문제가 프롬프트 예시 수준의 난이도로 유지되므로, 모델이 개별 단계에서는 높은 정확도를 유지하면서도 전체적으로는 훨씬 복잡한 문제를 해결할 수 있다는 점이다. 위의 2단계짜리 예시 단 하나로 5단계 이상의 복잡한 수학 문제까지 일반화를 달성한다.

2.3 과제별 적용 변형

마지막 글자 연결(Last-Letter-Concatenation)

주어진 단어 리스트에서 각 단어의 마지막 글자를 순서대로 이어 붙이는 과제다. 예를 들어 ["thinking", "machine", "learning"]이 입력이면 정답은 "gen"이다.

L2M은 기저 사례(base case) + 재귀 단계(recursive step) 패턴을 사용한다:

분해 프롬프트 — 맨 뒤 단어 1개를 떼어내고 나머지를 하위 문제로 남기는 재귀적 축소 방식이다:

Q: "thinking, machine, learning"
A: "thinking, machine", "learning"

풀이 프롬프트 — 이전 결과를 재활용하는 구조를 명시적으로 시연한다:

Q: "thinking"
A: The last letter of "thinking" is "g". So "thinking" output "g".

Q: "thinking, machine"
A: "thinking" output "g". The last letter of "machine" is "e".
   So "thinking, machine" output "ge".

Q: "thinking, machine, learning"
A: "thinking, machine" output "ge". The last letter of "learning" is "g".
   So "thinking, machine, learning" output "geg".

이전 하위 문제의 답("ge")을 다음 단계의 입력으로 재활용하므로, 모델은 매 단계에서 이미 풀린 부분 + 새 단어 1개만 처리하면 된다. 리스트가 아무리 길어도 각 단계의 난이도가 일정하게 유지되어, 프롬프트 예시(L=2~3)보다 훨씬 긴 리스트(L=12)로의 일반화가 가능해진다.

반면 CoT 프롬프트는 분해 없이 모든 단어의 마지막 글자를 한꺼번에 나열한 뒤 연결하는 방식이다. 짧은 리스트에서는 잘 작동하지만, L이 커지면 중간 글자를 빠뜨리거나 순서를 혼동하는 오류가 급증한다.

SCAN 벤치마크

SCAN은 자연어 명령을 행동 시퀀스로 변환하는 조합 일반화 벤치마크다. 예를 들어 "jump around left twice"라는 명령이 들어오면 TURN_LEFT JUMP의 반복 시퀀스로 매핑해야 한다. Length split은 훈련 세트에 짧은 행동 시퀀스만 넣고, 테스트 세트에는 긴 시퀀스만 배치하여 "짧은 것만 보고 긴 것을 풀 수 있는가"를 평가하는 분할 방식이다.

L2M은 이 과제에 2단계 프롬프트를 적용한다:

분해 프롬프트(8개 예시): 복잡한 명령을 더 단순한 하위 명령으로 쪼갠다. 가장 쉬운 원자 명령부터 시작해서 점진적으로 복잡도를 높이는 순서로 하위 문제를 배열한다.

Q: "jump around left twice" → 더 간단한 단계로 나누면?
A: "jump left", "jump around left", "jump around left twice"

매핑 프롬프트(14개 예시): 분해된 각 하위 명령을 행동 시퀀스로 변환하며, 이전 하위 문제의 답이 다음 풀이의 컨텍스트로 누적된다. Python 표기법(notation)을 중간 표현으로 활용한다.

Q: "jump left" → TURN_LEFT JUMP
Q: "jump around left" → (TURN_LEFT JUMP) * 4
Q: "jump around left twice" → ((TURN_LEFT JUMP) * 4) * 2

Python 표기법(LOOK*2, (TURN_LEFT JUMP)*4 등)은 LLM이 긴 반복 시퀀스를 직접 나열하지 않고 곱셈 표현으로 압축할 수 있게 해준다. 출력 토큰 수가 줄어들어 디코딩 오류가 감소한다.

수학 추론 — Single-pass 변형

GSM8K(초등 수학 서술형 문제) 같은 과제에서는 분해와 풀이를 하나의 프롬프트로 합칠 수 있다(single-pass). "Let's break down this problem:" 같은 트리거 문구로 분해를 유도한 뒤, 같은 응답 안에서 순차적으로 풀이를 진행한다. 이 방식은 토큰 오버헤드를 줄이면서 효과를 유지한다.

Single-pass가 적합한 경우: 분해 구조가 비교적 선형적이고 풀이 단계가 자연스럽게 이어지는 과제. 토큰 오버헤드를 줄이면서 효과를 유지할 수 있다.

2단계 분리가 필수인 경우: 분해 자체가 복잡하거나 하위 문제 간 매핑 규칙이 별도 예시를 요구하는 과제(SCAN의 명령어→행동 변환, 마지막 글자 연결의 재귀 구조). 분해 프롬프트와 풀이 프롬프트가 서로 다른 능력을 요구하므로 분리가 필수적이다.

2.4 다른 프롬프팅 기법과의 관계

L2M은 CoT, Self-Consistency(다수의 추론 경로를 샘플링한 뒤 다수결로 답을 선택하는 기법) 등과 결합 가능하지만, 반드시 그럴 필요는 없다. L2M은 자체적으로 독립적인 프롬프팅 구조를 제공한다.

3. 실험 결과

3.1 마지막 글자 연결(Last-Letter-Concatenation)

주요 결과

code-davinci-002 기준, 리스트 길이(L)가 커질수록 CoT와 L2M의 격차가 벌어진다. Standard prompting(중간 풀이 과정 없이 입력-출력 쌍만 제시)은 모든 길이에서 0%다.

방법	L=4	L=6	L=8	L=10	L=12
Standard	0%	0%	0%	0%	0%
CoT (2-shot)	84.2%	69.2%	50.2%	39.8%	31.8%
L2M (2-shot)	94.0%	88.4%	83.0%	76.4%	74.0%

CoT는 L=4에서 84.2%로 시작하지만 L=12에서 31.8%까지 급락한다. 반면 L2M은 L=4에서 94.0%, L=12에서도 74.0%를 유지한다.

Shot 수 및 모델 스케일 비교

CoT의 shot 수를 늘려도(4-shot → 8-shot) L=12 정확도는 37.4% → 38.4%로 거의 개선되지 않는다. 이는 CoT의 한계가 예시 부족이 아니라 중간 결과 축적 부재라는 구조적 문제에 기인함을 확인시킨다.

방법	예시 수	모델	L=4	L=12
CoT	4	code-davinci-002	88.6	37.4
CoT	8	code-davinci-002	91.0	38.4
CoT	4	text-davinci-002	87.0	14.0
CoT	4	code-davinci-001	13.0	0.0
L2M	2	code-davinci-002	94.0	74.0
L2M	4	code-davinci-002	96.0	76.6
L2M	4	text-davinci-002	94.0	66.0
L2M	4	code-davinci-001	19.6	0.1

code-davinci-001에서는 L2M의 이점이 거의 소멸한다. L=4에서 19.6%, L=8 이상에서 4% 이하로 하락하며, 동일 설정에서 code-davinci-002는 96.0%를 달성한다. 모델 자체의 재귀적 추론 능력이 L2M 효과의 전제 조건이다.

에러 분석

L2M의 오류 대부분은 연결(concatenation) 단계의 글자 누락 또는 중복이다. 마지막 글자 자체를 잘못 식별하는 오류는 극소수에 불과하다.

글자 누락 오류: 정답이 "dtew"인데 "dte"를 출력하는 사례. 재귀 단계에서 이전 결과에 새 글자를 붙일 때 마지막 글자가 탈락한다.
글자 중복 오류: 정답이 "wsns"인데 "wsnss"를 출력하는 사례. 이전 결과의 마지막 글자와 새 글자가 같을 때 중복 삽입이 발생한다.

문제의 병목은 "추출"이 아니라 "축적"에 있다. L2M도 리스트가 길어지면 정확도가 하락하며(L=4 94.0% → L=12 74.0%, 20%p 감소), 재귀 단계가 많아질수록 연결 오류가 누적된다.

3.2 SCAN 벤치마크

주요 결과

SCAN length split 정확도:

모델	Standard	CoT	L2M
code-davinci-002	16.7%	16.2%	99.7%
text-davinci-002	6.0%	0.0%	76.0%
code-davinci-001	0.4%	0.0%	60.7%

code-davinci-002에서 L2M은 99.7% 정확도를 달성했다. 이는 전체 테스트 세트 약 3,920건 중 13건만 틀린 수치다. 같은 모델의 CoT가 16.2%에 그친 것과 비교하면 83.5%p의 압도적 차이다. 이 결과는 프롬프트에 단 14개의 매핑 예시만 사용한 것으로, 15,000개 이상의 학습 데이터를 사용한 기존 신경-기호(neuro-symbolic) 모델들과 대등한 수준이다.

text-davinci-002는 100건 랜덤 서브셋으로 평가했다는 점에 주의해야 한다. 전체 테스트 세트가 아닌 부분 평가이므로 76.0%라는 수치의 신뢰 구간이 넓다.

세 모델 모두에서 L2M이 CoT를 크게 상회하는 패턴은 일관되지만, code-davinci-001(60.7%) → text-davinci-002(76.0%) → code-davinci-002(99.7%)로, 동일한 L2M 프롬프트라도 모델 능력에 따라 성능 편차가 최대 39%p에 달한다.

오류 13건 상세 분석

code-davinci-002의 13건 오류는 두 가지 유형으로 분류된다.

유형 1 — twice/thrice + around 결합 오해석 (6건): around은 4방향 회전(×4)을 의미하고, twice는 전체를 2회 반복(×2)하므로 총 ×8이 되어야 한다. 그러나 모델이 이를 ×12(= ×4 × 3)나 ×9 등으로 잘못 계산한 사례가 6건이다. Python 표기법의 중첩 곱셈에서 연산 순서를 혼동한 것이다.

유형 2 — after → and 오해석 (7건): "X after Y"는 "Y를 먼저 실행한 뒤 X를 실행"이라는 시간 순서를 담고 있다. 그러나 모델이 이를 and(병렬 나열)로 해석하여 순서를 뒤집거나 무시한 사례가 7건이다. 분해 단계에서 after의 의미론적 순서가 제대로 전달되지 않은 것이 원인이다.

3.3 수학 추론 (GSM8K, DROP)

GSM8K 결과

GSM8K는 초등 수학 서술형 문제 벤치마크다. L2M은 분해와 풀이를 하나의 프롬프트에 통합한 single-pass 방식을 사용하며, 1-shot 예시만 제공한다.

code-davinci-002 주요 결과:

데이터셋	하위셋	CoT	L2M	차이
DROP	Non-football	74.77%	82.45%	+7.68%p
DROP	Football	59.56%	73.42%	+13.86%p
GSM8K	전체	60.87%	62.39%	+1.52%p

(※ CoT의 GSM8K 1-shot 정확도는 테이블에서 60.87%로 표기되나, 본문 서술에서는 60.97%로 기재되어 0.1%p 불일치가 존재한다. 반올림 기준 차이이거나 서브셋 범위 차이일 수 있으나 논문 내에서 별도 설명이 없다. — 논문 내부 불일치)

DROP에서 7~14%p 개선을 보인 것과 달리 GSM8K에서는 1.52%p 개선에 그쳤다. GSM8K는 평균 추론 단계가 DROP보다 적고 산술 자체가 단순하여, 분해 전략의 이점이 제한적이다.

GSM8K 추론 단계별 분석

문제를 풀이에 필요한 추론 단계 수로 분류했을 때, 단계가 많아질수록 L2M의 우위가 뚜렷해진다.

추론 단계	CoT	L2M	차이
2단계	76.68%	74.53%	-2.15%p
3단계	67.29%	68.91%	+1.62%p
4단계	59.39%	59.73%	+0.34%p
5단계+	39.07%	45.23%	+6.16%p

5단계 이상 문제에서 L2M은 CoT 대비 6.16%p 우위를 보인다. 그러나 2단계(가장 쉬운 문제)에서는 오히려 CoT가 2.15%p 우세하다. 단순한 문제를 굳이 하위 문제로 분해하면 불필요한 중간 단계가 추가되어 에러를 유발할 수 있다.

DROP 결과

DROP은 독해 기반 수치 추론 벤치마크로, 미식축구 관련 지문(Football)과 그 외 지문(Non-football)으로 나뉜다. Football 하위셋은 "몇 야드 더 길었는가" 같은 다단계 산술이 빈번하고, Non-football은 비교·카운팅 등 다양한 추론을 요구한다.

DROP에서 L2M은 Non-football 82.45%, Football 73.42%를 기록하여 CoT 대비 큰 폭으로 개선되었다. 특히 Football 하위셋에서 13.86%p 차이가 나는데, 이는 다단계 산술 문제에서 분해 전략이 특히 효과적임을 시사한다.

모델 스케일 비교

모델	데이터셋/하위셋	평가 규모	L2M
text-davinci-002	DROP Non-football	500건 서브셋	74.20%
LM-540B	DROP Non-football	3,988건 전체	79.24%
code-davinci-002	DROP Non-football	전체	82.45%

text-davinci-002(74.20%)와 LM-540B(79.24%) 모두 code-davinci-002(82.45%)보다 낮은 절대 성능을 보인다. L2M의 효과 크기가 기저 모델 능력에 따라 달라지며, 약한 모델에서는 분해를 올바르게 수행하는 능력 자체가 제한될 수 있다.

GSM8K 4-shot 확장

예시를 1-shot에서 4-shot으로 늘렸을 때 격차가 확대된다.

방법	정확도
CoT (4-shot)	62.77%
L2M (4-shot)	68.01%

격차가 1.52%p에서 5.24%p로 확대되며, 예시가 많아질수록 분해 패턴 학습이 강화되어 L2M의 이점이 커지는 것으로 해석된다.

DROP 에러 분석 (오답 20건)

에러 유형	건수	비율
풀이 오류	13	65%
분해 오류	4	20%
레이블 오류	3	15%

풀이 오류가 압도적으로 많다는 것은 분해 자체는 대체로 올바르게 수행되지만, 하위 문제를 푸는 산술·추론 과정에서 실수가 집중된다는 의미이다. 분해 오류 4건은 문제를 잘못된 하위 질문으로 쪼개 아예 잘못된 방향으로 풀이가 진행된 경우이며, 분해된 문제가 원래 질문의 단순 재진술에 불과하여 실질적 분해로 기능하지 못하는 사례가 대표적이다.

레이블 오류 3건은 정답 자체가 부정확한 데이터셋 고유의 문제다.

4. 역효과, 한계, 향후 방향

4.1 단순한 문제에서의 역효과

L2M은 문제 복잡도가 일정 임계치 이상일 때만 이점이 발생한다. GSM8K 2단계 문제에서 CoT 76.68% vs L2M 74.53%로 CoT가 우세한 것이 이를 보여준다. 프롬프트 예시와 동등하거나 더 쉬운 문제에서는 L2M의 2단계 구조가 불필요한 오버헤드(추가 API 호출, 토큰 소비)만 발생시키며, 분해 단계에서 오히려 잘못된 하위 문제를 생성할 위험이 있다.

4.2 오류 전파의 구조적 취약점

L2M의 1단계(분해)에서 하위 문제 분할이 잘못되면, 이후 순차 풀이 전체가 틀어진다. 잘못된 중간 답이 다음 하위 문제의 컨텍스트로 들어가므로 오류가 누적·증폭되는 구조적 취약점이 있다. DROP 에러 분석에서 풀이 오류(65%)가 분해 오류(20%)보다 압도적으로 많은 것은, 분해 전략의 천장(ceiling)이 기저 모델의 산술 능력에 의해 결정됨을 시사한다.

4.3 분해 프롬프트의 도메인 종속성

L2M의 가장 심각한 실용적 한계는 분해 프롬프트가 도메인에 강하게 종속된다는 점이다. SCAN용 분해 프롬프트("이 명령을 더 간단한 명령들로 나눠라")는 수학 문제에 그대로 적용할 수 없고, 수학용 분해 프롬프트("이 문제를 풀기 위해 먼저 알아야 할 것은?")는 상식 추론에 전이되지 않는다. 새로운 도메인마다 분해 예시를 수동으로 설계해야 하며, 이는 few-shot 프롬프팅의 범용성 장점을 상당 부분 상쇄한다.

분해가 본질적으로 쉬운 도메인에서의 과대평가 위험도 존재한다. SCAN(명령어의 구문 구조가 분해를 직접적으로 지시)과 last-letter-concatenation(단어 단위로 자연스럽게 분리)은 분해 구조가 입력에 내재되어 있다. L2M의 높은 성능이 "분해 전략의 우수성"인지 "해당 도메인이 분해에 친화적"인지 분리하기 어렵다. 분해 구조가 명확하지 않은 도메인(상식 추론, 열린 질의응답 등)에서는 동일한 성능 향상을 기대하기 힘들다.

또한 도메인마다 분해 프롬프트 + 풀이 프롬프트 2세트를 설계해야 하므로, 단일 CoT 프롬프트 대비 설계 비용이 약 2배로 증가한다.

4.4 모델 규모 의존성

L2M의 효과는 모델 능력에 크게 의존한다. 마지막 글자 연결 과제(4-shot, L=12 기준):

모델	정확도
code-davinci-002	76.6%
text-davinci-002	66.0%
code-davinci-001	0.1%

SCAN length split에서도 동일한 경향이 나타난다:

모델	정확도
code-davinci-002	99.7%
text-davinci-002	76.0%
code-davinci-001	60.7%

code-davinci-001에서는 L2M의 이점이 거의 소멸한다. 모델 자체의 재귀적 추론 능력이 부족하면 L2M의 구조적 이점이 발현되지 않는다. 핵심 결과가 code-davinci-002(175B급 코드 특화 모델)에서 도출되었으므로, 소형 모델에의 적용 시 효과 감소를 고려해야 한다.

4.5 향후 방향: 양방향 대화

저자들은 향후 방향으로 양방향 대화(bidirectional conversation) 형태로의 발전을 제시한다. 현재 L2M은 분해→풀이의 단방향 파이프라인이지만, 풀이 과정에서 발생한 오류나 새로운 정보가 분해 단계로 피드백되는 구조를 구상한 것이다. 이는 오류 전파 문제(4.2절)와 분해 품질 불안정 문제를 동시에 완화할 수 있는 방향이다.

5. 관련 연구와 학술적 위치

5.1 SCAN 벤치마크의 기존 접근법

L2M이 다루는 핵심 벤치마크인 SCAN의 기존 접근법들은 크게 네 갈래로 나뉜다.

신경-기호 결합 및 문법 유도 접근: 신경망에 기호 규칙을 결합하거나, 입력 시퀀스에서 문법 구조를 자동으로 추출하는 방식이다. 수천~수만 개의 학습 데이터를 필요로 한다는 공통점이 있다.

데이터 증강 접근: 학습 데이터를 인위적으로 확장하여 일반화 성능을 높이려는 방식이다. 역시 학습 기반이므로 대규모 데이터셋이 전제된다.

종단간 신경망 접근: 아키텍처 자체를 변형하여 조합 일반화를 내재화하려는 방식이다.

L2M과 이들의 근본적 차이는 학습 vs 프롬프팅이다. 기존 접근법들은 모두 모델 파라미터를 갱신하거나 대량의 학습 데이터를 요구하는 반면, L2M은 사전학습된 LLM을 고정한 채 프롬프트 14개만으로 SCAN에서 99.7% 정확도를 달성했다. 동일 벤치마크에서 데이터 효율성 측면의 패러다임 전환이다.

5.2 작업 분해(Task Decomposition) 영역에서의 차별점

작업 분해 영역에서 L2M의 차별점은 순차적 의존성이다. 기존 연구에서는 하위 문제를 독립적으로 분해하여 병렬 처리가 가능하지만 하위 문제 간 정보 전달이 없는 방식, SQL 생성에 특화된 분해, LLM 호출을 체이닝하는 방식 등이 제안되었다. L2M은 이전 하위 문제의 답을 다음 프롬프트의 컨텍스트에 명시적으로 포함시키는 bottom-up 축적 구조를 채택하여, 하위 문제 간 정보가 점진적으로 전달되는 구조를 실현했다.

5.3 Easy-to-Hard 일반화

Easy-to-hard 일반화 관련으로는 Neural Logic Machine(NLM)과 반복 추론(recurrent inference) 등이 있다. 이들은 쉬운 문제에서 학습한 후 어려운 문제로 일반화하는 동일한 목표를 추구하지만, 역시 학습 기반이라는 점에서 L2M과 구별된다.

참고: 핵심 선행 연구

연구	핵심 기여	L2M과의 관계
CoT 프롬프팅 (2201.11903)	중간 추론 단계 명시적 생성으로 few-shot 추론 개선	L2M의 직접적 비교 기준선, 난이도 일반화 실패가 L2M 동기
Self-Consistency (2203.11171)	다수 추론 경로 샘플링 후 다수결 선택	L2M과 결합 가능한 보완적 기법
SCAN 벤치마크	조합 일반화 평가를 위한 명령어→행동 변환 과제	L2M이 가장 극적인 성능(99.7%)을 보인 핵심 벤치마크
신경-기호 결합 모델	신경망+기호 규칙으로 SCAN 조합 일반화 달성	15,000+ 학습 데이터 필요, L2M은 14개 예시로 대등 달성
응용행동분석의 Least-to-Most 교수법	최소 도움에서 점진적으로 지원을 늘리는 교육 전략	L2M 명칭과 핵심 아이디어의 직접적 기원

chain-of-thought-prompting-elicits-reasoning-in-large-language-models

urban-dandelion — Mon, 4 May 2026 21:13:20 +0900

type: knowledge
created: 2026-04-16
source: https://arxiv.org/abs/2201.11903

Chain of Thought Prompting Elicits Reasoning in Large Language Models

항목	내용
저자	Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, F. Xia, Quoc Le, Denny Zhou
연도	2022
arXiv	2201.11903
분야	Computer Science
인용 수	17184 (Semantic Scholar 기준)

1. 배경 및 문제 정의

대형 언어 모델(LLM, Large Language Model)은 규모를 키울수록 일반적인 성능과 샘플 효율이 올라간다. 그러나 산술, 상식, 기호 추론처럼 복잡한 과제에서는 모델 크기만 키워도 성능이 충분히 개선되지 않는다고 선행 연구가 보고했다. "규모 확장이 곧 만능 해법"이라는 가설은 추론 능력에 대해서는 성립하지 않으며, 이 관찰이 논문 전체의 출발점이다.

이 문제를 해소하기 위해 두 가지 선행 아이디어가 각각 탐색되어 왔다.

첫째, 자연어 중간 풀이(rationale)를 생성하도록 모델을 학습시키면 산술 추론에 도움이 된다는 접근이다. Ling et al. (2017)과 Cobbe et al. (2021)이 대표적이다. 그러나 이 방법은 고품질 풀이 과정을 대규모로 어노테이션(annotation, 사람이 직접 정답과 풀이를 작성하는 작업)해야 하므로 비용이 크다.

둘째, few-shot 프롬프팅(소수의 예시만 제공하여 모델이 태스크를 수행하게 하는 기법)은 파인튜닝(fine-tuning, 특정 태스크용 추가 학습) 없이 다양한 태스크를 수행하게 한다. 그러나 추론이 필요한 태스크에서는 성능이 낮고, 모델 규모를 키워도 크게 향상되지 않는다.

본 논문은 이 두 아이디어를 결합한다. few-shot 프롬프팅의 예시에 중간 추론 단계(chain of thought)를 포함하는 방식이다. 입력-추론 과정-출력의 트리플 $\langle \text{input, chain of thought, output} \rangle$ 을 프롬프트 예시로 제공한다. 이렇게 하면 대규모 어노테이션 없이, 기존 모델 체크포인트 하나로 여러 태스크에 적용할 수 있다. Rationale 학습의 비용 문제와 표준 few-shot의 추론 약점을 동시에 우회하는 구조다.

GSM8K(초등~중등 수준 다단계 산술 추론 벤치마크)에서 PaLM 540B에 CoT 프롬프팅을 적용한 결과, 표준 프롬프팅을 크게 상회하며 당시 최고 성능(state-of-the-art)을 달성했다. CoT의 효과는 모델 규모가 충분히 클 때에만 나타나는 창발적 특성(emergent property, 임계 규모 이상에서 갑자기 출현하는 능력)임을 시사하며, 표준 few-shot 프롬프팅은 LLM 추론 능력의 하한선에 불과하다는 함의를 갖는다.

서론에서는 역효과를 직접 서술하지 않으나 두 가지 구조적 한계를 명시한다. 첫째, CoT 프롬프팅은 어노테이션 비용을 회피하지만, 모델이 스스로 올바른 중간 단계를 생성할 능력을 갖춰야 한다는 전제가 따른다. 둘째, CoT는 충분히 큰 모델에서만 나타나는 능력이며, 소규모 모델에서는 CoT를 제공해도 오히려 성능이 저하될 수 있다.

2. Chain-of-Thought 프롬프팅의 정의

인간이 복잡한 문제를 풀 때는 "Jane이 꽃 2송이를 주면 10개 남고, 3송이를 또 주면 7개"처럼 중간 단계를 거친다. 이 논문은 이 사고 과정 자체를 LLM에게 예시로 보여줘서 유사한 추론을 유도하는 것이 CoT 프롬프팅의 핵심이라고 정의한다. 구체적으로 few-shot 예시를 $\langle \text{input, chain of thought, output} \rangle$ 트리플 형식으로 구성하면 된다. 파인튜닝 없이 추론을 삽입하는 방식이다.

논문은 이 중간 단계를 "풀이(solution)"가 아닌 "사고의 연쇄(chain of thought)"라고 명명한다. 기존 작업에서 solution이나 explanation은 보통 최종 답변 이후에 등장하지만, CoT는 최종 답변 이전에 추론 과정을 배치한다. 기존 "solution" 개념과 구별하여 사고 과정을 선행시키는 새로운 형식임을 명확히 한다.

3. CoT의 네 가지 특성

저자들은 CoT 프롬프팅의 실용적 특성을 네 가지로 제시한다.

1) 단계적 분해를 통한 적응적 계산 배분. 문제가 복잡할수록 더 많은 추론 단계가 필요하고, 모델은 자연히 더 많은 연산을 투입하게 된다. 단순 입출력 매핑에서는 얻을 수 없는 특성이다.

2) 해석 가능성. 중간 추론이 자연어로 노출되므로 어느 단계에서 추론이 틀렸는지 추적할 수 있다. 다만 논문 자체가 "모델 내부 계산 전체를 완전히 특성화하는 것은 미해결 문제"라고 인정한다. CoT 체인이 사후 합리화(post-hoc rationalization, 올바른 답을 먼저 찾고 그럴듯한 설명을 나중에 생성하는 현상)일 가능성을 배제하지 못한다.

3) 광범위한 적용성. 산술, 상식, 기호 조작 전반에 적용되며, 인간이 언어로 풀 수 있는 모든 태스크에 원칙적으로 확장 가능하다. 다만 "원칙적으로(in principle)"라는 단서가 붙으며, 실증되지 않은 일반화 주장이다.

4) 쉬운 유도 — 핵심 전제 조건. 파인튜닝 없이 few-shot 예시만으로 CoT를 유도할 수 있다. 단, "충분히 큰(sufficiently large)" 모델에서만 성립한다. 이것이 창발성 주장의 핵심 근거이며, 소규모 모델에서는 이 특성 자체가 성립하지 않는다.

네 가지 특성 모두 "충분히 큰 모델"을 전제한다. 이후 산술, 상식, 기호 추론 실험 섹션들은 이 전제를 실증하는 구조로 배치된다.

논문 부록은 CoT 실험의 완전한 재현 패키지를 두 축으로 구성한다. Full Prompts(모델에 제공된 프롬프트 전문)와 Input/Output Examples(모델이 실제로 출력한 결과)다. Input/Output Examples는 7개 태스크의 CoT 예시를 별도 파일로 분리 수록한다.

태스크	분류
마지막 글자 연결	기호 추론
동전 뒤집기 상태 추적	기호 추론
CommonsenseQA	상식 추론
StrategyQA	상식 추론
날짜 계산	상식 추론
스포츠 규칙 이해	상식 추론
SayCan 로봇 행동 계획	상식+도구 추론

이 중 SayCan은 CoT를 자연어 추론의 영역을 넘어 물리적 affordance(로봇이 실제로 수행 가능한 행동 집합)를 고려한 로봇 행동 선택에 적용한 사례다. 3번 특성("인간이 언어로 풀 수 있는 모든 태스크에 원칙적으로 확장 가능")의 실증 사례에 해당하며, CoT의 범용 적용 가능성 주장을 가장 극단적으로 밀어붙인 예시다.

4. 산술 추론 실험

4.1 실험 설계

수학 단어 문제(math word problems)는 인간에게는 단순하지만, 언어 모델이 오랫동안 어려움을 겪어온 태스크다. 기존 접근법은 태스크별 파인튜닝이었으며, 대규모 레이블 데이터와 훈련 비용을 요구했다.

산술 추론 프롬프트는 두 파일로 구성된다. appendix-mwp-prompt는 GSM8K/ASDiv/MAWPS 계열 수학 단어 문제용으로 8-shot CoT 예시를 포함한다. appendix-aqua-prompt는 AQUA-RAT(대수 추론 벤치마크)용으로 역시 8-shot CoT 예시를 포함한다. 어노테이터 변이 검증용 대안 버전(appendix-mwp-prompt-alt, appendix-mwp-prompt-alt-b)도 추가로 존재하며, CoT 성능이 특정 어노테이터의 문체에 과적합되지 않았음을 검증하는 용도로 사용된다.

4.2 주요 결과

CoT 프롬프팅과 PaLM 540B 조합은 파인튜닝 없이 태스크별 파인튜닝 모델과 비교 가능한 성능을 달성했다. GSM8K에서는 당시 최고 성능을 기록했다.

모델	태스크	조건	성능
LaMDA 137B	GSM8K	CoT	14.3%
LaMDA 137B	GSM8K	CoT + Python 계산기	17.3% (+21% 상대 향상)
PaLM 540B	GSM8K	CoT	SOTA 달성

LaMDA 137B 규모에서 CoT만으로는 14.3%에 그쳤다. 외부 도구(Python 계산기)를 결합하면 17.3%로 향상된다. PaLM 540B + CoT가 GSM8K SOTA를 달성한 것과 대비하면, 모델 크기가 LaMDA 137B와 PaLM 540B 간 성능 격차의 주요 원인이다. 동일한 CoT 기법이라도 모델 규모가 작으면 효과가 제한적이며, 이는 "창발적 능력" 정의를 수치로 뒷받침한다.

4.3 외부 도구 통합

CoT 실패는 두 종류로 나뉜다.

추론 실패: 논리적 단계 자체가 틀린 경우
계산 실패: 논리는 올바르지만 산술 연산(덧셈, 곱셈 등)에서 실수한 경우

계산 실패는 Python eval()로 교정 가능하다. LLM의 추론 경로(CoT 체인)는 유지하되 수식 평가만 외부로 위임한다. 여러 수식이 한 체인에 나올 때는 문자열 매칭으로 앞 수식의 결과를 뒤 수식에 전파한다. 대부분의 태스크에서 CoT 성능이 유의미하게 향상되지만, 일부 태스크에서는 개선이 없거나 방해가 될 수 있다는 점이 "대부분(most tasks)"이라는 표현에 함축되어 있다.

이는 순수 신경망 추론과 기호 계산기의 하이브리드 접근이며, 파인튜닝 없이 추론 후처리만으로 구현된다. 언어 모델 자체의 산술 계산 능력이 여전히 한계가 있으며, 외부 도구 결합이 보완 수단이 될 수 있음을 시사한다. 단, 도구 결합은 프롬프팅만으로 해결되지 않는 추가 인프라를 요구한다는 트레이드오프가 있다.

4.4 어노테이터 독립성

어노테이터 A의 CoT(99.6%)와 어노테이터 C의 CoT(71.4%) 모두 표준 프롬프팅(50.0%) 대비 유의미한 향상을 보인다. 두 어노테이터 간 성능 격차는 28.2%p이며, CoT 예시 품질(구체성, 논리 전개 명확성)이 결과에 영향을 미침을 시사한다. 그러나 두 어노테이터 모두 기준선을 초과하므로, CoT 효과가 특정 어노테이터에 과적합된 결과가 아니라는 결론을 지지한다.

5. 상식 추론 실험

5.1 CoT의 자연어 확장성

CoT 프롬프팅은 수식 계산보다 자연어 기반 추론에 더 자연스럽게 확장된다. 산술 추론에서 CoT가 효과적임이 먼저 확인되었고, 산술 추론의 CoT 역시 본질적으로 자연어 단계들("먼저 A를 구하면…")로 이루어진다. 상식 추론도 같은 자연어 단계 형식으로 표현 가능하므로, CoT는 산술에 국한되지 않고 물리적·사회적 상식을 요구하는 태스크에도 적용 가능하다는 것이 이 섹션의 핵심 주장이다.

5.2 벤치마크 선정

단일 벤치마크 결과는 데이터셋 특성에 과적합된 효과일 수 있으므로, 논문은 성격이 다른 5개 벤치마크를 선정했다.

벤치마크	특성	출처
CSQA	복잡한 세계 상식, 선택형	학술 벤치마크
StrategyQA	다중 홉(multi-hop) 전략 추론	학술 벤치마크
Date Understanding	문맥에서 날짜 추론	BIG-bench
Sports Understanding	스포츠 관련 문장의 사실성 판단	BIG-bench
SayCan	자연어 명령을 로봇 행동 시퀀스로 매핑	로봇 데이터셋

과제 유형(선택형, 추론형, 계획형)과 출처가 모두 다르므로, 다섯 곳 전체에서 CoT가 효과를 보인다면 범용성 주장이 강화된다.

5.3 프롬프트 구성 방식의 차이

각 벤치마크마다 프롬프트 구성 방식이 달랐다.

CSQA, StrategyQA: 훈련셋에서 무작위 선택 후 수동으로 CoT 작성 (표준 8-shot 방식)
Date, Sports Understanding: 훈련셋이 없어 평가셋 앞 10개를 few-shot 예시로, 나머지로 평가 (잠재적 데이터 오염 가능성 존재)
SayCan: 훈련셋 6개 예시 + 수동 CoT 작성 (다른 태스크보다 shot 수가 적음)

이 비균일성은 실험 조건이 완전히 통제되지 않았음을 의미하며, 태스크별 결과 비교 시 주의가 필요하다.

상식 추론 프롬프트는 5개 파일(appendix-commonsenseqa-prompt, appendix-strategyqa-prompt, appendix-date-understanding-prompt, appendix-sports-understanding-prompt, appendix-saycan-prompt)로 구성된다.

5.4 주요 결과

모델 / 조건	태스크	성능
PaLM 540B + CoT	StrategyQA	75.6%
기존 SOTA	StrategyQA	69.4%
PaLM 540B + CoT	Sports Understanding	95.4%
인간(비전문가)	Sports Understanding	84%

StrategyQA: 절대 차이 +6.2%p로 기존 SOTA를 추월했다. StrategyQA는 다중 홉 추론이 필요한 태스크이므로, 중간 단계를 명시하는 CoT의 구조("먼저 X를 확인하고, 그 다음 Y를 확인하면…")가 multi-hop 전략과 구조적으로 동형이어서 효과가 두드러진다.

Sports Understanding: 모델이 인간(비전문가)을 초과한 사례다. 단, "비전문가 스포츠 애호가(unaided sports enthusiast)"라는 비교 기준이 제한적이므로 전문가 대비 성능은 별도 검토가 필요하다.

참고로, GPT-3의 SST-2(감성 분류 벤치마크) 기준 few-shot 예시 순서만 바꿨을 때 성능이 최선 93.4%, 최악 54.3%로 39.1%p 변동한 사례가 있다. 상식 추론 태스크가 아니지만, few-shot 예시 순서 선택이 결과에 미치는 영향을 보여주는 교차 근거로 활용 가능하다.

5.5 스케일 효과의 재확인

산술 추론에서 관찰된 패턴이 상식 추론에서도 반복된다. 모델 크기를 키우면 표준 프롬프팅 성능이 오르고, CoT 프롬프팅은 그 위에 추가 향상을 제공하며, 향상 폭은 PaLM 540B에서 가장 크게 나타난다.

5.6 CSQA에서의 제한적 효과

CSQA에서는 CoT 적용 후 향상이 최소 수준이었다. CSQA는 복잡한 세계 상식을 묻는 선택형(multiple-choice) 태스크로, 중간 추론 단계 없이도 답을 찍을 수 있어 CoT의 이점이 희석될 수 있다. 또한 CSQA가 요구하는 암묵적 지식(implicit knowledge)의 범위가 넓어, CoT 예시가 포괄하기 어려운 지식 유형이 많을 수 있다. 이는 CoT가 모든 상식 추론 태스크에서 균일하게 효과적이지 않다는 반례다.

6. 기호 추론 실험

6.1 기호 추론의 의의

CoT 프롬프팅의 범용성을 주장하려면 산술·상식 추론에 이어 구조가 명확하게 정의된(well-defined) 추론 도메인에서도 검증이 필요하다. 기호 추론은 인간에게는 단순하지만 LM에게는 추상 심볼을 규칙에 따라 조작해야 한다는 점에서 별도 검증 가치가 있다. 이 섹션의 핵심 목적은 CoT가 학습 시 보지 못한 더 긴 시퀀스(OOD, out-of-distribution)로의 길이 일반화를 가능하게 하는지 검증하는 것이다.

6.2 두 태스크의 설계

마지막 글자 이어붙이기(Last Letter Concatenation)

"Amy Brown" → "yn": 각 단어의 마지막 글자를 순서대로 이어붙이는 규칙이다. 이름은 상위 1,000개 성·이름 센서스 데이터(namecensus.com)에서 무작위 조합하여 생성된다. 첫 글자 이어붙이기는 CoT 없이도 LM이 이미 수행 가능하므로, 마지막 글자 이어붙이기는 의도적으로 더 어려운 변형으로 설계되었다. OOD 설정에서는 예시가 2-word 이름으로만 구성되고, 테스트는 3-4 word 이름으로 진행된다.

동전 뒤집기(Coin Flip)

"동전이 앞면이다. Phoebe가 뒤집는다. Osvaldo는 뒤집지 않는다. 아직 앞면인가?" → "아니오". 동전 상태는 앞면/뒷면의 이진(binary) 결과이므로, 규칙을 추적하지 못하면 무작위 추측(50%)과 다르지 않다. 50%는 "틀렸다"가 아니라 정보 없는 추측의 하한선이다. OOD 설정에서는 few-shot 예시의 플립 횟수보다 더 많은 플립이 포함된 문제로 구성된다.

기호 추론 프롬프트는 appendix-letter-concat-prompt(문자 이어붙이기)와 appendix-coinflip-prompt(동전 뒤집기 추적) 두 파일로 구성되며, 각각 8-shot CoT 예시를 포함한다.

6.3 In-domain 결과

In-domain 설정에서는 few-shot 예시와 동일한 단계 수의 문제가 제시된다. 논문은 이 설정이 완벽한 풀이 구조가 이미 CoT 예시에 제공되어 있어 모델이 새로운 심볼에 대해 같은 단계를 반복하기만 하면 되는 "toy task"라고 인정한다. 그럼에도 소규모 모델은 여전히 실패한다. 이것이 핵심 논거다: 구조가 주어져 있어도 실패한다는 것은 해당 능력이 구조 모방이 아니라 추상 심볼 조작 능력 자체임을 의미한다. 이 능력은 약 100B 파라미터 이상에서만 출현하며, 창발적 능력의 또 다른 실증 사례다.

모델	태스크	방법	정확도
PaLM 540B	기호 추론 in-domain	CoT	거의 100%
PaLM 540B	동전 뒤집기 in-domain	표준 프롬프팅	해결됨
LaMDA 137B	동전 뒤집기 in-domain	표준 프롬프팅	실패

PaLM 540B는 표준 프롬프팅만으로도 동전 뒤집기 in-domain을 해결할 수 있으나, LaMDA 137B는 해결하지 못한다. CoT의 필요성이 태스크뿐 아니라 모델 크기에도 조건부임을 의미한다.

6.4 OOD 일반화 결과

OOD 설정에서는 few-shot 예시보다 긴 입력이 제시된다. 표준 프롬프팅은 두 태스크 모두에서 실패한다. 반면 CoT 프롬프팅은 OOD에서도 모델 크기에 따라 성능이 오르는 스케일링 곡선을 보인다. 다만 in-domain보다는 낮은 수준이다.

이는 CoT가 단순한 패턴 암기가 아니라 구성적(compositional) 추론 절차를 유도한다는 근거가 된다. 모델이 "Amy Brown → yn"이라는 예시를 외운 것이 아니라, "각 단어의 마지막 글자를 추출하고 이어붙이는" 절차 자체를 내재화했을 가능성이 높다.

6.5 어노테이터 간 분산

동전 뒤집기 CoT의 정확도가 어노테이터에 따라 크게 갈린다.

모델	태스크	방법	정확도
LM (미특정)	동전 뒤집기	CoT (어노테이터 A)	99.6%
LM (미특정)	동전 뒤집기	CoT (어노테이터 C)	71.4%
LM (미특정)	동전 뒤집기	표준 프롬프팅	50.0%

어노테이터 A와 C의 격차는 28.2%p다. 동일 CoT 기법이라도 예시 작성자의 추론 스타일에 따라 결과가 크게 달라지며, 이는 CoT의 재현성(reproducibility) 문제를 실증한다. 표준 프롬프팅의 50%와 비교하면 어노테이터 C의 CoT(71.4%)도 의미 있는 개선이나, 어노테이터 A(99.6%)와의 격차는 크다.

7. 논의: 세 도메인의 통합과 창발성

7.1 세 도메인 통합

논문은 Discussion에서 세 도메인 실험을 하나의 논리 체인으로 묶는다.

산술 추론에서 CoT는 다른 모든 ablation(파인튜닝 없이 예시만 변형하는 실험)보다 큰 폭의 성능 향상을 보였으며, 어노테이터·예시 구성·모델 종류가 달라도 결과가 안정적이었다.
상식 추론에서는 CoT가 자연어 기반이라는 특성 덕분에 수학 외 영역에도 일반적으로 적용 가능함이 확인됐다.
기호 추론에서는 CoT가 학습 시 보지 못한 더 긴 시퀀스(OOD)로의 길이 일반화를 가능하게 했다.
세 도메인 모두 파인튜닝 없이 오프-더-셸프(off-the-shelf, 추가 학습 없이 바로 사용하는) 모델에 CoT 예시만 제공하는 방식으로 달성됐다. 이 논문 작성 과정에서 파인튜닝된 언어 모델은 없다.

7.2 창발성 논거

표준 프롬프팅은 모델 규모가 커져도 성능 곡선이 거의 평탄하다. 반면 CoT 프롬프팅은 충분한 규모(약 100B 이상)에서 성능 곡선이 급격히 우상향한다. 이는 CoT 추론이 규모에 의존하는 창발적 능력임을 의미한다. 따라서 표준 프롬프팅 성능은 LLM 능력의 하한(lower bound)에 불과하다는 결론이 도출된다.

7.3 CoT 프롬프팅의 견고성

GPT-3의 SST-2 감성 분석 태스크에서 few-shot 예시 순서만 바꿨을 때 성능이 54.3%(최악)에서 93.4%(최선)로 39.1%p 변동한 사례가 있다. 이는 표준 few-shot 프롬프팅이 예시 구성에 극도로 민감할 수 있음을 보여준다. 반면 CoT는 다른 어노테이터·예시에 대해 견고하다고 명시되어 있으므로, SST-2 감도 데이터는 CoT의 견고성 주장을 뒷받침하는 대조 근거로 기능한다.

8. 한계

저자들은 네 가지 한계를 명시하며, 각각 서로 다른 수준의 문제를 다룬다.

1) "진짜 추론인가"

CoT가 인간 추론 과정을 모방하지만, 신경망이 실제로 추론하는지는 열린 질문이다. 관찰된 행동과 내부 메커니즘의 괴리 문제로, 저자들 스스로 미해결 과제로 남겨두었다.

2) 어노테이션 비용의 비대칭

few-shot 설정에서는 CoT 예시 작성 비용이 최소(약 8개)지만, 파인튜닝을 위해 대규모 CoT 데이터셋을 구축하려면 비용이 폭증한다. 합성 데이터 생성이나 zero-shot 일반화로 우회 가능성이 언급된다.

3) 오류 전파

중간 추론 경로가 잘못되면 최종 답도 틀릴 수 있다. 올바른 추론 경로를 보장하는 메커니즘이 없으며, 이는 CoT 결과를 신뢰하는 다운스트림 시스템에서 오류로 이어질 수 있다.

4) 서빙 비용

창발성이 대규모 모델에서만 나타나므로 거대 모델 운영 부담이 크다. 실제 서비스 환경에서의 배포 비용이 실용적 장벽이 된다.

소규모 모델에서의 역효과

PaLM 8B에서는 CoT가 오히려 성능을 저하시킨 사례가 보고된다. 기호 추론 실험에서 100B 미만 모델은 CoT 예시를 제공해도 실패했다. 소규모 모델에 CoT를 적용하면 역효과가 발생할 수 있으므로, 모델 규모 확인 없이 무분별하게 적용해서는 안 된다.

미래 질문

모델 규모가 더 커지면 추론 능력이 얼마나 더 향상될 수 있는가?
CoT 외에 LLM이 해결할 수 있는 과제의 범위를 넓히는 다른 프롬프팅 방법은 무엇인가?

9. 관련 연구

논문은 CoT 프롬프팅이 다섯 갈래의 선행 연구 흐름에서 영감을 받았다고 밝힌다.

방향 1: 중간 단계를 활용한 추론

Ling et al. (2017)은 자연어 근거를 이용해 수학 단어 문제를 단계별로 풀었다. 이 접근은 당시 주류였던 형식 언어(formal language) 기반 추론 — 기호 논리, SQL, 프로그램 합성 등 — 과 대비된다. Cobbe et al. (2021)이 이를 확장해 대형 사전학습 모델을 더 큰 데이터셋으로 파인튜닝했고, Nye et al. (2021)은 Python 프로그램의 중간 연산 결과를 한 줄씩 예측하는 방식(스크래치패드 기법)이 최종 출력을 바로 예측하는 것보다 낫다는 것을 보였다. 세 연구 모두 "최종 답 직접 예측"보다 "중간 과정 명시"가 추론 성능에 유리함을 지지하나, 모두 파인튜닝 또는 전용 데이터셋 구축을 전제한다. 본 논문은 파인튜닝 없이 few-shot 예시만으로 동일 효과를 낸다는 점에서 차별화된다.

방향 2: 프롬프팅 개선

Brown et al. (2020, GPT-3)이 few-shot 프롬프팅을 대중화한 이후, 프롬프트 입력부를 자동 학습하거나(Lester et al., 2021), 태스크 설명 명령어를 앞에 붙이는(FLAN, InstructGPT 등) 방식이 등장했다. 이들은 입력(prompt input) 측을 강화한다. 본 논문은 이와 직교(orthogonal)하는 방향 — 출력(model output) 측에 추론 체인을 붙이는 방식 — 을 택한다. 따라서 두 방향은 경쟁이 아니라 조합 가능한 관계다.

방향 3-5: 프로그램 합성/실행, 수치·논리 추론, 중간 언어 단계가 나머지 세 방향이며, 상세 논의는 확장 관련 연구(Extended Related Work) 부록으로 미뤄진다.

10. 결론

결론부는 단 3문장으로 논문 전체를 압축한다. 이 간결함 자체가 핵심 기여가 두 가지 개념으로 환원될 만큼 명료하다는 의미다.

첫 번째 개념: "단순하고 범용적"

"단순함"의 근거는 파인튜닝 불필요, 8개의 예시만으로 적용 가능, 오프-더-셸프 모델에 즉시 동작한다는 점이다. "범용성"의 근거는 산술·상식·기호 추론의 세 범주, 여러 벤치마크에서의 검증이다. 단, 범용성의 전제 조건(충분히 큰 모델)이 결론 한 문장에 함축되어 있다.

두 번째 개념: "창발적 능력"

창발적 특성이란 모델 크기를 늘려도 선형적으로 나타나지 않고, 특정 임계점 이상에서 갑자기 출현하는 능력이다. 실험 결과가 이를 지지한다:

PaLM 8B: CoT가 오히려 성능을 저하시키거나 무효
PaLM 540B: GSM8K에서 표준 프롬프팅 대비 대폭 향상, StrategyQA에서 기존 SOTA(69.4%) → 75.6%
기호 추론: 약 100B 파라미터 이상에서만 추상 심볼 조작 능력 출현

이 비선형 임계 현상을 "창발"이라 부른다. CoT는 단순 프롬프트 엔지니어링이 아니라, 대형 모델이 내재적으로 보유한 추론 능력을 표면으로 끌어내는 인터페이스다. "표준 프롬프팅으로 성능이 개선되지 않는다고 해서 모델이 해당 추론 능력이 없다고 결론 내릴 수 없다. CoT를 시도해야 진짜 능력 상한이 드러난다"는 실용적 함의가 따른다.

마지막 문장 "언어 기반 추론 접근법에 대한 추가 연구를 촉발하길 바란다"는 암묵적 대비를 내포한다. 대비 대상은 기호 논리, 외부 추론 엔진, 별도의 파인튜닝 기반 접근법이다. "자연어 그 자체가 범용 추론 매체가 될 수 있는가"라는 질문을 열어 두는 것이다.

결론이 다루지 않는 예외들도 존재한다. 소규모 모델에서의 역효과, 어노테이터 간 성능 격차(28.2%p), CSQA에서의 제한적 향상은 모두 결론에서 생략된다. "충분히 큰 모델"의 정확한 임계값도 결론에서는 수치로 명시되지 않는다.

11. 부록 및 재현성

11.1 실험 재현 패키지

논문 부록은 9개 전체 프롬프트 파일과 7개 Input/Output Examples 파일을 공개한다.

산술 추론 프롬프트:
- appendix-mwp-prompt (GSM8K/ASDiv/MAWPS 계열, 8-shot CoT)
- appendix-aqua-prompt (AQUA-RAT 대수 추론, 8-shot CoT)

상식 추론 프롬프트:
- appendix-commonsenseqa-prompt, appendix-strategyqa-prompt, appendix-date-understanding-prompt, appendix-sports-understanding-prompt, appendix-saycan-prompt

기호 추론 프롬프트:
- appendix-letter-concat-prompt, appendix-coinflip-prompt

각 프롬프트 파일에는 질문, 중간 추론 단계, 최종 답변으로 구성된 CoT 예시가 포함되어 있다. 어노테이터 변이 검증용 대안 버전(appendix-mwp-prompt-alt, appendix-mwp-prompt-alt-b)도 존재한다.

11.2 재현성 한계

GPT-3는 API로 외부 접근 가능하므로 "완전 재현 가능"이라 서술되었지만, LaMDA는 Google 내부 모델이므로 외부 연구자가 직접 재현할 수 없다. LaMDA 관련 결과(137B 모델의 산술 추론 성능 등)는 공개된 입출력 예시로 확인하는 수준에 그치며, 독립 검증이 근본적으로 불가능하다.

11.3 오류 막대 설계

LaMDA 137B에서 여러 시드를 사용해 표준편차를 측정했으며, "시드 하나 = 예시들의 무작위 순서 하나"다. few-shot 프롬프팅에서 예시 순서가 성능에 영향을 준다는 사실을 저자들이 인지하고 있었음을 의미한다. 다만 예시 내용(어떤 8개를 고르는지)에 따른 분산은 별도로 보고되지 않아, 예시 선택 민감도는 미탐구 영역으로 남는다.

11.4 CoT의 팩트성 한계

저자들은 CoT를 사실 정보원으로 사용하거나 실제 서비스 환경에 적용하는 것을 권장하지 않는다고 명시했다. CoT가 추론 정확도를 높이는 도구이지, 출력된 추론 과정 자체가 신뢰 가능한 설명임을 보장하지 않는다. 모델이 맞는 답을 내놓더라도 그 중간 추론 단계가 실제로 올바른 논리적 경로인지는 별개의 문제다.

11.5 신규 데이터셋

동전 뒤집기와 마지막 글자 이어붙이기 두 개의 기호 추론 데이터셋이 이 논문에서 처음 공개되었다. 인간 데이터를 수집하지 않았으므로 IRB 승인이나 개인정보 이슈가 없다. 인공적으로 생성 가능한 기호 조작 문제들로, 논리적 일반화 능력을 테스트하는 데 설계되었다.

11.6 논문 개정 이력

논문은 V1에서 V6까지 총 6회 개정되었다.

버전 전환	주요 변경 내용
V1 → V2	PaLM 결과 추가 (LaMDA 단독 → 다중 모델)
V2 → V3	GPT-3, SVAMP, AQuA, SayCan, 확장 관련 연구, ablation, FAQ, raw results 추가
V3 → V4	타이포 수정, 인용 추가
V4 → V5	Codex, UL2 결과 추가, 문체 수정
V5 → V6	타이포 수정

V1(LaMDA 단독) → V2(PaLM 추가) → V3(GPT-3 및 다중 벤치마크) → V5(Codex, UL2 추가)의 흐름은 저자들이 "CoT 효과의 보편성"을 입증하는 방향으로 점진적으로 증거를 쌓았음을 보여준다. 최종본은 Google과 OpenAI 양쪽 모델, 디코더 전용 및 인코더-디코더 아키텍처, 수학·상식·기호·로봇 계획 등 복수 도메인을 포괄한다.

V3에서 ablation과 FAQ를 대량 추가한 것은 초기 버전이 "왜 CoT가 작동하는가"에 대한 설명이 부족했음을 시사한다. 현상 보고 중심에서 설명 책임 강화로 방향이 전환되었다.

감사의 말(Acknowledgements)에서 Sid Maxwell이 원고의 수동 오류 분석에서 실수를 발견해 알려줬다고 명시되어 있다. 이는 초고 이후 수정 과정을 거쳤음을 의미하며, 오류 분석 결과 수치 또는 해석 일부가 초고와 달라졌을 가능성이 있다. 구체적으로 어떤 수치나 분석이 수정되었는지는 밝혀져 있지 않다.

12. 수치 종합 테이블

논문 전체에서 보고된 주요 수치를 종합한다.

산술 추론

모델	태스크	조건	성능
LaMDA 137B	GSM8K	CoT	14.3%
LaMDA 137B	GSM8K	CoT + Python 계산기	17.3%
PaLM 540B	GSM8K	CoT	SOTA 달성

상식 추론

모델	태스크	조건	성능
PaLM 540B	StrategyQA	CoT	75.6%
기존 SOTA	StrategyQA	-	69.4%
PaLM 540B	Sports Understanding	CoT	95.4%
인간(비전문가)	Sports Understanding	-	84.0%

기호 추론

모델	태스크	조건	성능
LM (미특정)	동전 뒤집기	CoT (어노테이터 A)	99.6%
LM (미특정)	동전 뒤집기	CoT (어노테이터 C)	71.4%
LM (미특정)	동전 뒤집기	표준 프롬프팅	50.0%
PaLM 540B	기호 추론 in-domain	CoT	거의 100%

프롬프팅 민감도 참조

모델	태스크	조건	성능
GPT-3	SST-2	few-shot (최선 순열)	93.4%
GPT-3	SST-2	few-shot (최악 순열)	54.3%

13. 미확인 및 미해결 항목

논문 분석 과정에서 확인이 불가능했거나 논문 자체가 열어 둔 질문들을 정리한다.

PaLM 540B의 GSM8K 구체 수치: 본문에서 "SOTA 달성"이라고만 언급되며 정확한 수치가 명시되지 않는다.
LaMDA 137B의 표준 프롬프팅 기준선: GSM8K에서 CoT 14.3% 대비 표준 프롬프팅이 얼마인지 명시되지 않아 절대 향상 폭을 계산할 수 없다.
어노테이터 비교 수치의 모델 명세: 동전 뒤집기 실험의 어노테이터 비교(99.6% vs 71.4%)에 사용된 모델이 PaLM 540B인지 다른 모델인지 명시되지 않는다.
"충분히 큰"의 정확한 임계점: 실험 결과를 종합하면 약 100B 파라미터가 경험적 임계처럼 보이지만, 논문은 이 수치를 공식적으로 정의하지 않는다.
CoT 체인의 실제 추론 여부: CoT 체인이 모델의 실제 추론 과정을 반영하는지, 올바른 답을 찾은 후 사후 합리화를 생성하는 것인지는 논문이 명시적으로 열어 둔 질문이다.
CSQA의 구체적 수치: "최소한의 향상"이라고 서술되었지만 CoT 대비 표준 프롬프팅의 정확한 수치 차이가 본문에 제시되지 않는다.
인간 기준선의 대표성: Sports Understanding에서의 84% 인간 기준이 "비전문가 스포츠 애호가"로 한정되어 있어, 전문가나 일반 인간 집단 대비 결론이 달라질 수 있다.
계산기 역효과 발생 태스크: 계산기 추가가 "대부분(most tasks)"에서 도움이 된다고 명시했으나, 예외 태스크가 구체적으로 어떤 것인지 서술되지 않는다.
SayCan의 CoT 표현 형식: SayCan 예시가 CoT 추론 단계를 자연어 서술 방식으로 표현하는지, 행동 목록(action list) 형식으로 표현하는지는 부록 파일 내용 없이 확정할 수 없다.
OOD 성능 저하의 원인: CoT가 OOD에서 성공하지만 in-domain보다 낮은 이유가 모델의 길이 편향인지, 추론 단계 수 증가에 따른 오류 누적인지 명시적으로 분석되지 않는다.
Additional Analysis 섹션 내용 누락: 부록의 "Additional Analysis" 섹션은 헤더만 존재하는 빈 청크로, CoT 체인 정오 분석 및 추가 견고성 분석 내용이 청크 분할 과정에서 누락된 것으로 판단된다.

참고: 핵심 선행 연구

연구	기여	CoT와의 관계
Brown et al. (2020)	few-shot 프롬프팅(GPT-3) 대중화	CoT의 기반 프레임워크 제공
Ling et al. (2017)	자연어 rationale을 이용한 수학 단어 문제 풀이	CoT의 "중간 단계" 아이디어의 직접적 선행
Cobbe et al. (2021)	대형 모델 + 대규모 데이터셋 파인튜닝으로 rationale 학습 확장	CoT가 파인튜닝 없이 동일 효과를 내는 것과 대비
Nye et al. (2021)	스크래치패드 기법 — 중간 연산 결과를 단계별 예측	CoT의 "단계별 기록" 개념을 자연어로 옮겨온 것과 대응
Rae et al. (2021)	모델 규모 확장이 추론 과제에서는 불충분함을 보고	CoT 논문의 출발점이 되는 문제 정의
Lester et al. (2021)	프롬프트 입력부 자동 학습	CoT의 출력 측 증강과 직교하는 접근
Wei et al. (FLAN)	태스크 설명 명령어를 통한 instruction tuning	입력 강화 방식으로 CoT와 조합 가능

urban-dandelion

Distilling the Knowledge in a Neural Network

Distilling the Knowledge in a Neural Network

1. 배경 및 문제 정의

2. 핵심 아이디어: 소프트 타겟과 일반화 정보

3. 방법론: 온도와 목적 함수

3.1 Softmax와 온도 파라미터

3.2 학습 절차

3.3 하드 타겟 결합과 가중치

3.4 그래디언트 스케일링

4. MNIST 예비 실험

4.1 모델 구성과 기본 결과

4.2 온도와 모델 용량의 상호작용

4.3 학습 데이터에서 누락된 클래스 복원

4.4 극단적 데이터 결손

4.5 한계

5. 음성 인식 실험

5.1 시스템 아키텍처

5.2 베이스라인 성능

6. 전문가 앙상블 학습

6.1 앙상블의 비용 구조

6.2 전문가(Specialist) 모델의 도입

6.3 JFT 데이터셋 결과

6.4 과적합 위험

7. 소프트 타겟의 정규화 효과

7.1 핵심 주장

7.2 데이터 3% 만으로 베이스라인 회복

7.3 조기 종료 없이 수렴

7.4 한계

8. Mixture of Experts와의 관계

8.1 Mixture of Experts(MoE)의 구조

8.2 MoE의 병렬화 어려움

8.3 본 논문의 전문가 학습 방식

8.4 한계

9. 종합 논의 및 향후 과제

10. 핵심 기여 요약

참고: 핵심 선행 연구

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

1. 배경 및 문제 정의

2. 두 가지 핵심 혁신 개요

3. Multi-head Latent Attention(MLA)의 동기와 구조

MLA의 계산 과정

MLA 어블레이션: 다른 어텐션 방식과의 비교

4. DeepSeekMoE 아키텍처

5. 사전 학습(Pre-training)

6. 정렬(Alignment): SFT와 강화학습

7. 주요 성능 결과

8. 사전 학습 데이터 디바이아싱과 그 부작용

9. 추가 평가: 수학과 코드

9.1 중국어 수학 — SC-Math6

9.2 코드 생성 — HumanEval과 LiveCodeBench

10. 경량 모델: DeepSeek-V2-Lite

11. 한계와 향후 방향

12. 평가 형식 설계

13. 기여자 구성

14. 핵심 수치 종합 요약

참고: 핵심 선행 연구

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

1. 배경 및 문제 정의

1.1 대규모 언어 모델의 구조적 추론 한계

1.2 Newell-Simon의 문제 공간 탐색 이론

1.3 기존 추론 방법의 구조적 한계

2. 핵심 기여 및 방법론

2.1 형식적 프레임워크: 기존 방법의 통합

2.2 ToT 프레임워크의 4가지 설계 축

축 1: Thought Decomposition (사고 분해)

축 2: Thought Generator G(pθ,s,k)G(p_\theta, s, k)

축 3: State Evaluator V(pθ,S)V(p_\theta, S)

축 4: Search Algorithm (탐색 알고리즘)

2.3 ToT의 4가지 구조적 장점

3. 실험 결과 및 분석

3.1 Game of 24

3.2 Creative Writing

3.3 Mini Crosswords (5×5 미니 십자말풀이)

3.4 모델 스케일 및 추가 실험

4. 한계 및 역효과

4.1 계산 비용 폭증

4.2 단순 태스크에서의 과잉 설계

축 2: Thought Generator $G(p_\theta, s, k)$

축 3: State Evaluator $V(p_\theta, S)$