DeepSeek: V2에서 R1까지, 실용적 AI 혁신의 여정
DeepSeek은 V2에서 V3, R1-Zero를 거쳐 R1 개발에 성공하기까지 수많은 도전과 변화를 겪어왔습니다. 지난해 말 V3가 발표될 당시만 해도 "아직 갈 길이 멀다"는 회의적인 시각이 많았지만, 올해 1월 R1이 발표되면서 AI 업계뿐 아니라 다양한 산업군에서 DeepSeek에 대한 관심이 급격히 높아졌습니다. V3 기술보고서와 R1 논문을 읽어보면, 기존 연구들을 기반으로 효과적인 최적화를 수행하면서도 실제 AI 시스템에 적용할 수 있는 방법론을 정교하게 발전시켜 왔음을 알 수 있습니다.
V3와 R1의 관계
DeepSeek을 둘러싼 평가와 현실을 먼저 짚어봅니다. DeepSeek의 기술에 대해 "새로운 패러다임을 제시한 것은 아니다", "시장 기술 대비 월등한 성능을 보이는 것도 아니다"라는 평가도 존재합니다. 하지만 DeepSeek이 거인의 어깨 위에 올라선 방식은 매우 실용적이며, AI 연구에서 중요한 발전을 이루었다는 점을 간과해서는 안 됩니다. 논문과 소스코드를 보면, DeepSeek의 접근 방식은 단순해 보일 수 있습니다 — "별것 아닌 것 같은데?"라는 안도감과, "이 아이디어를 이렇게 적용하면 효과가 있나?"라는 의구심이 동시에 듭니다. 하지만 실제로 오픈소스를 분석해 보면 그러한 안도감과 의구심은 곧 경외감으로 바뀝니다. DeepSeek이 공개한 코드는 놀라울 정도로 단순하게 구현되었습니다. 복잡한 이론은 기존 연구를 활용하면서도 Hugging Face 모듈을 적극적으로 활용했고, 논문에서 다루지 않았지만 실용적인 최적화 아이디어를 적용하여 더욱 효과적인 모델을 구축했습니다. AI 연구에서 "자금이 부족해서 할 수 없다", "전폭적인 지원이 부족하다", "인재가 없다"는 변명이 더 이상 통하지 않을지도 모릅니다. DeepSeek의 접근 방식은 누구나 생각해볼 수 있는 아이디어들이지만, 결국 그 아이디어들을 제대로 구현하고 실용화한 것이 차별점입니다.
기술적으로도 두 모델은 서로 얽혀 있습니다. DeepSeek-V3는 671억 개의 총 매개변수(MoE)로 구성되며, 지도 미세조정(SFT) 및 강화학습(RL)이 적용된 DeepSeek-R1로부터 지식 증류(Knowledge Distillation)를 받아 사후학습(post-training)을 대신할 수 있습니다. 즉 R1은 DeepSeek-V3-Base를 기반으로 강화학습을 적용해 만들어졌고, 그렇게 얻어진 R1의 추론 능력이 다시 V3의 최종 사후학습 단계로 증류되어 들어가는 순환 구조입니다. 다만 V3 기술보고서가 참조하는 R1은 2025년 1월 정식 공개된 최종 R1이 아니라 그 이전 단계의 R1 계열 선행 버전이라는 점은 유의할 부분입니다.
1. DeepSeek-V3
DeepSeek은 최근 DeepSeek-V3 및 DeepSeek-R1의 두 가지 고급 모델을 오픈소스로 공개함으로써 AI 커뮤니티에 상당한 기여를 했습니다. 이 모델들은 비용 효율적으로 고성능을 제공하도록 설계되어 OpenAI의 주요 모델에 대한 강력한 대안으로 떠올랐습니다.
DeepSeek-V3는 671억 개의 총 매개변수(parameter)로 구성된 MoE(Mixture-of-Experts) 아키텍처를 사용하며 토큰당 370억 개가 활성화됩니다. 14.8조 개의 다양하고 고품질 토큰으로 사전학습(pre-training)되었습니다. 이 모델을 학생모델(student model)로 하여 DeepSeek-R1의 지식을 전수받으면 질문 응답, 코드 생성, 수학 문제 해결, 법률 리서치 등 다양한 작업에도 최적화할 수 있습니다. 특히 DeepSeek-V3는 H800 칩에서 2.788백만 GPU 시간으로 학습을 완료하여 학습 효율성을 강조했습니다. 평가에 따르면 다른 오픈소스 모델보다 성능이 우수하고 주요 폐쇄소스(Closed Source) 모델의 기능과 일치합니다.
가. 아키텍처(Architecture)
1) Transformer with MHLA and MoE
DeepSeek-V3 모델은 Transformer 프레임워크를 사용합니다. 전통적인 Transformer(Vaswani et al., 2017)와 다른 점이 있다면, 효율적인 추론을 위해 Attention 블럭에 입력 토큰 간의 관계를 직접 계산하는 Multi-Head Self-Attention(MHSA) 방식 대신 다중 헤드 잠재 주의 메커니즘(Multi-head Latent Attention, MHLA)(DeepSeek-AI, 2024c) 아키텍처를 적용하였고, 경제적인 학습을 위해 모든 노드를 활성화하는 밀집(dense) FFN 대신 입력마다 다른 subset의 뉴런을 활성화하는 Mixture-of-Experts(MoE)(Dai et al., 2024) 아키텍처를 적용했다는 것입니다.
이러한 특징은 DeepSeek의 종전 모델인 V2와 같습니다. V2보다 좋아진 점이 있다면, DeepSeekMoE에서 부가 손실(auxiliary-loss)을 사용하지 않는 로드 밸런싱(load balancing) 전략(Wang et al., 2024a)을 추가 도입했다는 점입니다. 이는 로드 밸런스를 보장하려는 과정에서 발생할 수 있는 성능 저하 문제를 완화하기 위한 것입니다.
DeepSeek-V3 기본 아키텍처: MLA + DeepSeekMoE
2) 기존 Attention과 차이점: Multi-Head Latent Attention (MHLA)
Attention 블럭에 채용된 MHLA 아키텍처는 기존 attention이 입력 토큰 간의 관계를 직접 계산하는 MHSA 방식에서 발전하여, 잠재(latent) 공간에서 추가적인 추론을 수행하는 메커니즘을 추가합니다. 이 방식은 일반적인 Self-Attention보다 계산량이 줄어들어(O(N²) → O(N log N) 수준으로 최적화 가능), 대용량 데이터에서 더 안정적으로 학습이 가능해지고 보다 강력한 문맥 이해 및 추론 능력을 확보하게 합니다.
3) 기존 FFN과의 차이점: DeepSeekMoE(Mixture of Experts)
가) 기존 MoE 모델과의 차이점
FFN 블럭은 종래 MoE(Mixture of Experts)에서 개량된 DeepSeekMoE 아키텍처를 기반으로 작동합니다. 기존 MoE보다 더 정밀한 전문가(Finer-grained Experts)를 사용하며, 일부 전문가를 공유(Shared Experts)로 설정하여 일관된 성능을 유지합니다. 입력에 따른 전문가 선택(gating)은 토큰과 전문가 간 연관도를 시그모이드(Sigmoid) 함수로 계산하고, 정규화를 적용하여 최적의 전문가를 선택합니다. 이러한 개선 덕분에 추론 및 학습 효율성이 증가하고, MoE 아키텍처의 단점(불균형 로드, 성능 저하)을 완화합니다.
나) Auxiliary-Loss-Free Load Balancing (보조 손실 없는 부하 균형 조정)
기존 MoE 모델은 전문가 간 부하 불균형을 해결하기 위해 보조 손실(Auxiliary Loss)을 사용했지만, DeepSeek-V3는 보조 손실 없이도 부하를 동적으로 균형 맞추는 기법을 도입했습니다. 각 전문가에 편향(Bias) 값을 추가하여 토큰-전문가 매칭을 조정하고, 과부하된 전문가의 편향을 줄이며 저부하 전문가의 편향을 증가시켜 자동으로 부하를 균형 있게 조정합니다.
다) Sequence-Wise Auxiliary Loss (시퀀스 단위 부하 균형)
부하 균형을 더욱 정교하게 유지하기 위해, 각 시퀀스 내에서 전문가 간의 부하가 특정 전문가에 집중되지 않도록 보완적인 부하 균형 손실을 적용했습니다. 기존 Auxiliary Loss처럼 성능을 저하시키지 않으면서도, 필요한 범위 내에서 최소한의 손실만 추가하여 균형을 조절합니다.
라) 노드 제한 라우팅 (Node-Limited Routing)
토큰이 특정 전문가에게 과도하게 몰리는 것을 방지하고, 통신 비용을 줄이기 위해 토큰을 제한된 개수의 노드에만 할당하는 기법을 도입했습니다. 이를 통해 연산-통신 병목을 최소화하여 모델 학습 속도를 최적화할 수 있습니다.
마) 토큰 드롭 방지 (No Token-Dropping)
기존 MoE 모델에서는 부하 불균형 문제로 인해 일부 토큰이 학습 과정에서 제거되었지만, DeepSeek-V3는 모든 토큰을 유지하여 정보 손실 없이 안정적인 학습이 가능하도록 설계되었습니다. 추론(Inference) 과정에서도 토큰 드롭 없이 균형을 유지하는 배포 전략을 적용하여 성능 저하를 방지합니다.
4) 다중 토큰 예측 (Multi-Token Prediction, MTP)
DeepSeek-V3는 Gloeckle et al.(2024) 연구에 영감을 받아, 기존의 단일 토큰 예측을 넘어 여러 개의 토큰을 동시에 예측하여(MTP 기법), 학습 신호 밀도를 높이고 데이터 효율성을 극대화하는 방식으로 설계되었습니다.
각 MTP 모듈은 임베딩 레이어(Embedding Layer), 선형 투영 행렬(Projection Matrix), Transformer 블록, 출력 헤드(Output Head)로 구성되어 있으며, 이전 단계에서 출력 헤드로 입력되는 값이 다음 단계의 선형 투영 행렬로 들어가 각 모듈은 Transformer 블록과 출력 헤드의 값을 공유하며, 모든 예측이 인과적 체인(Causal Chain)을 유지하도록 설계되었습니다.
다중 토큰 예측(MTP) 모듈 구조
이러한 공유 구조 덕분에 모델의 학습 비용을 증가시키지 않으면서도 추가적인 예측 능력을 확보할 수 있으며, 순차적 예측 방식을 채택하여 인과적 체인을 유지함으로써 모델이 보다 자연스럽고 논리적인 문맥을 이해할 수 있도록 돕습니다. 학습 과정에서는 교차 엔트로피 손실(Cross-Entropy Loss)을 활용하여 최적화함으로써 모델의 전반적인 성능을 향상시키며, 추론 과정에서는 Speculative Decoding을 적용하여 생성 속도를 최적화하는 실용적인 기법으로 활용될 수 있습니다.
나. DeepSeek-V3의 사전 학습 (Pre-training)
1) FP8 Training
DeepSeek-V3에서 새로 채택한 FP8 Training은 8비트 부동소수점(FP8) 정밀도를 활용하여 계산 효율성을 극대화하는 학습 기법입니다. 학습에서 FP32 → BF16 → FP8 순으로 정밀도를 낮춰가며 연산 최적화와 메모리 절약을 추구하였습니다.
FP8 혼합 정밀도 학습 흐름도
- 입력 처리: BF16(BFloat16) → FP8 변환
- Forward Propagation(FP32): FP8 → FP32 연산 → BF16 변환 후 출력
- Backward Propagation(FP32): FP8 Gradient → FP32 계산 → FP8 저장
- Weight Update(FP32): FP32 Master Weight로 업데이트 → FP8 저장
FP8 Training은 특히 곱셈 연산을 단순화하여 GPU 활용도를 극대화하면서도, 기존 FP32 및 BF16 대비 메모리 사용량과 계산 비용을 줄일 수 있습니다. 이를 통해 동일한 하드웨어에서도 더 큰 모델을 학습할 수 있는 확장성이 확보됩니다. 또한 FP8 사용 시 발생할 수 있는 활성화(Activation), 가중치(Weight), 그래디언트(Gradient) 값의 이상치(Outlier) 문제를 해결하기 위해 정밀한 양자화 전략을 적용하였습니다. FP32 Master Weight를 활용한 혼합 정밀도(Mixed Precision) 학습 방식을 채택하여 FP32 수준의 정밀도를 유지하면서도 FP8의 연산 최적화를 극대화하였습니다. MoE 모델 학습에서는 FP8 캐싱을 활용하여 메모리 및 통신 비용을 절감하여 대규모 모델 학습 환경에서도 효율적인 운영이 가능합니다.
2) 데이터 구축 (Data Construction)
DeepSeek-V3는 DeepSeek-V2 대비 사전학습 데이터의 최적화를 위해 수학 및 프로그래밍 샘플의 비율을 증가시키고, 다국어 데이터 범위를 영어와 중국어를 넘어 확장하였습니다. 데이터 처리 파이프라인을 개선하여 말뭉치의 중복을 최소화하면서도 다양성을 유지하였습니다. 데이터의 일관성을 보장하기 위해 문서 패킹(Document Packing) 기법을 도입하였으며, 학습 과정에서는 교차 샘플 어텐션 마스킹(Cross-Sample Attention Masking)은 적용하지 않음으로써 처리 속도와 효율성을 극대화하였습니다. 최종적으로 DeepSeek-V3는 14.8조(14.8T)개의 고품질 및 다양한 토큰을 포함하는 학습 데이터셋을 사용하였습니다.
가) Fill-in-Middle(FIM) 전략 적용
DeepSeek-V3의 사전학습 과정에 적용한 Fill-in-Middle(FIM) 전략은 이미 DeepSeekCoder-V2의 학습 과정에서 다음 토큰 예측 성능을 저하시키지 않으면서, 문맥을 기반으로 중간 텍스트를 정확히 예측하는 데 효과적이라는 점이 관찰되었습니다. Prefix-Suffix-Middle(PSM) 프레임워크를 활용하여 데이터 구조(<|fim_begin|>f_pre<|fim_hole|>f_suf<|fim_end|>f_middle<|eos_token|>)를 구성하였으며, FIM 전략은 PSM 프레임워크와 일관되게 10%(0.1)의 확률로 적용되었습니다.
나) 토크나이저(Tokenization) 최적화
DeepSeek-V3는 Byte-level BPE(Byte Pair Encoding) 방식을 활용하는 128K 크기의 확장된 어휘(Vocabulary)를 도입하였습니다. 다국어 압축 효율성을 최적화하기 위해 프리토크나이저 및 학습 데이터를 조정하였고, Few-shot 평가 시 토큰 경계 편향(Token Boundary Bias) 문제를 완화하기 위해 훈련 과정에서 결합된 토큰 데이터의 일부를 랜덤하게 분할하였습니다.
3) 하이퍼파라미터 (Hyper-Parameters)
가) 모델 하이퍼파라미터
- Transformer 구조: 총 61개 레이어(Layers), 히든 차원(Hidden Dimension) = 7168, 모든 학습 가능한 파라미터는 표준편차 0.006으로 랜덤 초기화
- MLA 설정: 어텐션 헤드 개수 n_h = 128, 헤드당 차원 d_h = 128; KV 압축 차원 d_c = 512, 쿼리 압축 차원 d'_c = 1536; 디커플드(Decoupled) 쿼리·키의 헤드당 차원 = 64
- MoE 적용: 특정 레이어의 FFN을 MoE 레이어로 대체, 각 MoE 레이어는 1개의 공유 전문가(Shared Expert)와 256개의 라우팅 전문가(Routed Experts)로 구성, 각 전문가의 총 활성화 가능한 유닛 수 = 2048, 각 토큰은 8개의 전문가를 활성화
- MTP 설정: MTP 깊이(D) = 1, 각 토큰이 다음 토큰 외 하나의 추가 토큰을 예측
- 모델 크기: 총 671B(6,710억) 파라미터 보유, 토큰당 활성화 파라미터 수 37B(370억)
나) 학습 하이퍼파라미터
- 최적화 기법: AdamW 옵티마이저, β1=0.9, β2=0.95, Weight Decay=0.1
- 시퀀스 길이·데이터: 최대 시퀀스 길이 4K(4096 토큰), 사전학습 데이터 14.8T 토큰
- 학습률 스케줄링: 초기 2K 스텝 동안 0에서 2.2×10⁻⁴까지 선형 증가 후 10K 토큰 동안 유지 → 이후 43T 토큰 동안 코사인 감소(Cosine Decay)로 2.2×10⁻⁵까지 감소 → 최종 500B 토큰 동안 2.2×10⁻⁵에서 7.3×10⁻⁶로 감소
- 기타 학습 설정: 그래디언트 클리핑 1.0; 배치 크기는 초기 469B 토큰 동안 3072→15360으로 증가 후 15360 유지
- 병렬 학습: 파이프라인 병렬화로 8개 노드에 분산된 64개 GPU가 균등하게 작업 수행
- 부하 균형 설정: 토큰당 최대 전송 노드 수 M=4; 부하 균형 속도는 초기 14.3T 토큰 동안 0.001, 마지막 500B에서 0.0002로 점진적 감소; 균형 손실 한계 0.0001; MTP 손실 가중치는 초기 0.2에서 이후 0.1로 감소(4.8T 토큰 기준)
4) 장문 컨텍스트 확장 (Long Context Extension)
DeepSeek-V3는 DeepSeek-V2에서처럼 장문 컨텍스트 처리 능력을 확장하기 위해 YaRN(Yet another RoPE eXtension) 기법을 활용하여 사전학습 이후 두 단계의 추가 학습을 진행하였습니다(1단계 4K→32K, 2단계 32K→128K). 배치 크기와 학습률을 조정하여 안정적인 학습을 진행하였고, 이 두 단계의 학습을 통해 DeepSeek-V3는 최대 128K 길이의 입력을 처리할 수 있는 능력을 획득하였습니다. Supervised Fine-Tuning 이후 "Needle In A Haystack(NIAH)" 테스트에서 우수한 성능을 기록하여, 컨텍스트 윈도우가 최대 128K까지 확장된 상태에서도 강력한 성능을 유지함을 보여주었습니다.
다. DeepSeek-V3의 사후 학습 (Post-training)
1) 지도 학습 미세 조정 (Supervised Fine-Tuning, SFT)
DeepSeek-V3는 SFT와 RL을 효과적으로 결합하여 모델의 추론 능력과 일반 작업 성능을 최적화하였습니다. 다양한 도메인에서 150만 개(1.5M)의 인스턴스를 포함하는 SFT 데이터셋을 구성하였습니다. 추론 데이터는 DeepSeek-R1을 기반으로 생성되었으며, 강화학습과 Rejection Sampling을 활용하여 데이터의 정확도를 유지하면서도 응답 형식을 최적화하였습니다. 특히 수학, 프로그래밍, 논리 퍼즐 등에서 R1의 강점을 살리면서도 과도한 사고(Overthinking)와 불필요한 길이를 줄이는 방향으로 조정되었습니다.
비추론 데이터는 DeepSeek-V2.5를 활용하여 생성한 후 인간 주석자의 검토를 거쳐 품질을 보장하였습니다. 창의적 글쓰기, 역할극(Role-Play), 일반 질의응답(QA) 작업에서도 신뢰성 있고 유용한 출력을 제공할 수 있도록 데이터를 정제하였습니다. 학습 과정에서 코사인 감쇠 학습률과 샘플 마스킹 전략을 적용하여 학습 안정성을 강화하였습니다.
2) 강화 학습 (Reinforcement Learning, RL)
DeepSeek-V3는 정확한 보상 모델(Reward Model)과 효율적인 GRPO(Group Relative Policy Optimization)를 활용하여 강화학습을 진행하였습니다. 규칙 기반 보상 모델과 모델 기반 보상 모델을 병행하여 활용하고, Critic 모델 없이 그룹 점수를 기반으로 최적화하는 GRPO 기법을 적용하였습니다.
정확한 정답이 존재하는 문제(수학, 프로그래밍)에서는 규칙 기반 보상 모델(Rule-Based RM)을 사용하여 응답의 정확성을 검증했고, LeetCode 문제의 경우 컴파일러를 활용한 테스트 케이스 검증으로 자동 판단하였습니다. 반면 정답이 없는 창의적 글쓰기 같은 작업에서는 모델 기반 보상 모델(Model-Based RM)을 적용했는데, SFT 체크포인트 기반 보상 모델이 단순 점수만이 아니라 보상 값이 도출된 과정(Chain-of-Thought)까지 평가에 포함해 보상 해킹(Reward Hacking) 가능성을 줄였습니다.
결과적으로 DeepSeek-V3는 정교한 보상 모델과 GRPO 기반의 효율적인 학습 최적화 기법을 결합하여, RL을 통해 높은 품질의 응답을 생성하는 강력한 언어 모델로 발전하였습니다.
2. DeepSeek-R1
OpenAI의 o1 모델은 Inference-Time Scaling(추론 시간 확장) 기법을 도입하여 여러 중간 단계를 거쳐 깊이 있는 논리를 형성함으로써 수학, 코딩, 과학적 문제 해결에서 큰 성능 향상을 이루었습니다. 그러나 이 모델조차도 AGI에 도달하기까지는 여전히 한계가 있습니다. 많은 연구자들이 과정 기반 보상 모델, 강화학습 알고리즘, 탐색 기법(Monte Carlo Tree Search, Beam Search) 등을 모색해 왔지만, 일반적인 추론 성능을 완벽히 구현하는 데는 아직 도달하지 못했습니다.
본 연구("DeepSeek-R1: Incentivizing Reasoning Capability in Large Language Models via Reinforcement Learning")에서는 지도학습 없이 순수 강화학습(RL)만을 사용하여 AI의 추론 능력을 향상하려는 첫 시도를 했습니다. DeepSeek-V3-Base 모델과 GRPO 알고리즘을 적용하여 수천 번의 강화학습을 거친 결과, DeepSeek-R1-Zero는 강력한 추론 능력을 획득하였으며, 이 연구는 AI가 사람이 제공하는 정답 데이터에 의존하지 않고도 강화학습을 통해 추론 능력을 크게 향상할 수 있음을 입증하였습니다. 다만 순수 강화학습만으로는 낮은 문장 가독성과 언어 혼합 문제가 있었으며, 이를 해결하기 위해 소량의 지도학습 데이터와 다단계 학습을 추가한 DeepSeek-R1 모델이 개발되어 더 정교하고 안정적인 성능을 제공하게 되었습니다.
본 연구의 활용 시사점
- 이미 완성된 다양한 모델에 대규모 강화학습을 사후학습으로 적용하면 추론 능력이 급격히 향상될 수 있음을 입증했습니다. 기존 모델의 성능을 향상시키는 데 이 접근법을 적용하면 더 높은 성능을 기대할 수 있습니다.
- 고성능 모델의 지식을 소형 모델에 증류하여 주입하면, 강화학습 같은 사후학습 없이도 소형 모델이 고성능 모델에 근접한 성능을 낼 수 있음을 보여주었습니다.
- 기술 자료와 소스를 공개해 AI 오픈 커뮤니티로부터 지속적으로 피드백을 받는 개방형 혁신 연구 방식의 유용성을 다시 한번 확인시켜 주었습니다.
가. DeepSeek-R1 개발 과정 및 특징
1) DeepSeek-R1-Zero (중간 모델): 순수 강화학습(RL) 기반 추론 모델
- 순수 강화학습(Pure RL)만을 이용하여 언어 모델의 추론 능력을 향상시킨 최초 모델
- Supervised Data 없이 RL만으로 reasoning 능력을 습득하는 데 성공
- DeepSeek-V3-Base를 기반 모델로 사용, GRPO 알고리즘을 활용하여 RL을 적용
- 학습 과정에서 자연스럽게 강력한 reasoning 능력이 나타남
- 다만 가독성 저하, 언어 혼합(Language Mixing) 등의 문제가 발생
DeepSeek-R1 개발의 동기
R1-Zero가 RL만으로 강력한 추론 능력을 획득하는 데 성공하자, DeepSeek 연구팀은 두 가지 핵심 질문을 바탕으로 R1 개발에 착수했습니다. 첫째, 소량의 고품질 SFT 데이터를 Cold Start에 도입하면 추론 성능이 더 향상되거나 수렴 속도가 빨라질 수 있는가? 둘째, 명확하고 일관된 Chain of Thought(CoT)를 생성하면서도 전반적인 일반화 성능까지 겸비한 사용자 친화적 모델을 어떻게 설계할 수 있는가? 이를 위해 지도학습과 강화학습이 교번하는 다단계 학습 파이프라인을 설계하여 R1을 개발하였습니다.
2) DeepSeek-R1 (최종 모델)
- 다단계 학습 파이프라인(Multi-Stage Training Pipeline)과 Cold-Start 데이터를 활용한 SFT로 R1-Zero의 문제를 해결
- 추론 성능에서 OpenAI의 o1-1217 모델과 대등한 성능을 기록
- 보다 일관된 문장 구조와 명확한 응답을 제공하도록 최적화
나. 오픈소스 버전
- DeepSeek-R1에서 학습된 고급 추론 패턴을 다양한 크기의 밀집 모델(Dense Models)로 증류(Distillation)
- 1.5B에서 70B까지의 다양한 모델 크기로 제공, 개발자들이 확장성과 성능을 고려하여 선택 가능
- 강화학습을 활용한 최첨단 추론 능력을 갖춘 오픈소스 모델을 누구나 활용할 수 있도록 공개
다. DeepSeek-R1의 다단계 학습 과정 (Multi-Stage Training Pipeline)
DeepSeek-R1은 강화학습을 활용한 사후학습, 다단계 학습 파이프라인 구축, 그리고 지식 증류를 통해 대규모 언어 모델의 추론 능력을 극대화하는 데 기여하였습니다.
R1의 다단계 학습 파이프라인 개요
1) Cold-Start 데이터를 지도학습된 데이터로 사용
수천 개의 기본 데이터(cold-start data)를 수집하여 DeepSeek-V3-Base 모델을 초기 미세조정(fine-tuning)합니다. 목적은 RL 전에 모델의 기초 성능을 보완하여 가독성을 향상시키는 것입니다.
2) DeepSeek-R1-Zero 방식의 RL 적용 (추론 능력 극대화)
기존 DeepSeek-R1-Zero와 동일하게 추론 중심 RL(reasoning-oriented RL)을 적용하여 논리적 사고 능력을 강화합니다.
3) 새로운 지도학습 데이터(SFT) 생성 및 추가 학습
RL 과정이 수렴할(converge) 때쯤, 모델 성능을 추가로 개선하기 위해 새로운 SFT 데이터를 생성합니다. RL 체크포인트(강화학습 과정에서 저장된 특정 시점의 모델 상태)에서 거부 샘플링(rejection sampling)을 통해 더 나은 데이터를 추출합니다 — 즉 모델이 생성한 여러 출력 중 질 좋은 데이터만 선별합니다. DeepSeek-V3의 SFT 데이터도 함께 사용하며, 적용 분야는 글쓰기(Writing), 사실 기반 QA(Factual QA), 자기 인식(Self-Cognition)입니다. 이렇게 만든 SFT 데이터로 DeepSeek-V3-Base를 다시 훈련합니다.
4) 최종 RL 적용 (모든 시나리오에서 최적화)
모든 유형의 프롬프트를 고려하여 RL을 다시 적용, 최적의 모델로 개선합니다.
라. Distillation(지식 증류)
DeepSeek-R1에서 발견된 고급 추론 패턴을 더 작은 밀집 모델(Dense Models)에 전이(Distill)하여, 효율성과 성능을 동시에 향상시키는 지식 증류 기법을 적용하였습니다. 이 과정에서 Qwen2.5-32B 및 Llama 시리즈를 기반으로 1.5B부터 70B까지 다양한 크기의 모델을 성공적으로 증류하였습니다. 특히 Distilled 14B 모델이 QwQ-32B-Preview를 능가하는 성능을 기록하면서, 소형 모델에서도 높은 성능을 유지할 수 있음을 입증하였습니다.
마. 개발 단계 설명
기존 강화학습(RL) 모델은 SFT 후 RL을 적용하는 방식이 일반적이지만, DeepSeek-R1은 새로운 접근법을 채택하여 SFT 없이 순수 강화학습만으로 DeepSeek-R1-Zero를 먼저 학습하였습니다. R1-Zero는 GRPO를 적용해 자기 검증(Self-Verification), 반성(Reflection), 긴 CoT 생성과 같은 고급 추론 능력을 학습하도록 설계되었습니다. 이후 소량의 고품질 SFT 데이터를 활용해 R1-Zero를 미세조정한 뒤, 추가 RL을 통해 성능을 최적화하였습니다. 마지막으로 R1에서 학습한 고급 추론 패턴을 지식 증류를 통해 소형 모델에 전이하여 소형 모델에서도 효율적이고 강력한 성능을 발휘할 수 있도록 설계하였습니다.
R1-Zero → Cold Start → RL → SFT → 2차 RL로 이어지는 개발 단계
1) DeepSeek-R1-Zero: 순수 강화학습
가) Group Relative Policy Optimization (GRPO) 알고리즘 활용
GRPO는 기존 강화학습(RL) 방법에서 사용하는 Critic 모델(평가 모델)을 제거하고, 대신 그룹 내 보상 값들로부터 기준점을 추정하여 정책을 최적화하는 방식입니다. 이를 통해 학습 비용을 줄이면서도 효과적으로 모델을 개선할 수 있습니다.
GRPO 알고리즘 구조: Critic 모델 없이 그룹 내 상대 평가로 정책을 업데이트
나) GRPO 알고리즘의 주요 개념
GRPO의 목적함수(손실함수)는 다음 순서로 작동합니다: ① 모델이 데이터셋 P(Q)에서 질문 q를 가져오는 질문 샘플링, ② 이전 정책 모델 π_θold에서 질문 q에 대한 여러 응답(출력 그룹) {o1,o2,…,oG}을 샘플링하는 이전 정책에서 응답 샘플링, ③ 샘플링된 응답을 바탕으로 새로운 정책 π_θ를 최적화하는 새로운 정책 업데이트입니다.
GRPO의 질문·응답 샘플링 및 정책 업데이트 구조
목적함수는 세 가지 주요 항으로 구성됩니다.
GRPO 목적함수 구성: 정책 비율항 · 클리핑항 · KL 발산 제약항
- 정책 비율항(Policy Ratio Term): 새로운 정책 π_θ가 기존 정책 π_θold보다 얼마나 변화했는지를 나타냅니다. 비율이 1보다 크면 새로운 정책이 해당 응답을 더 선호한다는 의미이고, 1보다 작으면 덜 선호한다는 의미입니다. Advantage 값(A_i)과 곱해져서 보상이 높은 응답일수록 정책을 더 크게 업데이트하도록 유도합니다.
- 정책 변경 제한항(Clipping Term): 정책이 한 번에 너무 크게 변경되지 않도록 방지합니다. 비율이 (1−ϵ, 1+ϵ) 범위를 벗어나면 잘라서(clip) 급격한 정책 변화를 막고, RL의 흔한 문제인 과도한 최적화(overfitting)를 방지합니다.
- KL 발산 제약항(KL Divergence Regularization Term): 새로운 정책 π_θ와 기준 정책 π_ref 사이의 차이를 측정하는 KL 발산으로, 정책이 기준 정책과 너무 달라지지 않도록 패널티를 부여합니다. β는 KL 발산의 영향력을 조절하는 하이퍼파라미터입니다.
Advantage(A_i) 계산 (보상 기준점 조정): 기존 RL에서는 Critic 모델이 Advantage 값을 계산하지만, GRPO에서는 그룹 내 응답들의 보상 값을 사용하여 계산합니다. 각 출력의 보상을 평균과 비교한 후 표준편차로 정규화하여 상대적으로 얼마나 좋은지를 평가합니다 — A_i가 양수면 그룹 평균보다 좋은 결과, 음수면 나쁜 결과를 의미합니다. 이를 통해 Critic 모델 없이도 학습이 가능합니다.
Advantage(A_i) 계산: 그룹 내 보상을 정규화해 산출
GRPO는 그룹 내 여러 샘플을 비교해 상대적으로 좋은 응답을 학습하도록 유도하며, 개별 출력을 최적화하는 대신 전체적으로 균형 잡힌 학습이 가능하도록 설계됩니다. 따라서 기존 RL 방식보다 학습 비용을 줄이면서도 모델을 효과적으로 최적화하는 방법으로 평가되고 있습니다.
[참고] GRPO는 왜 개별 보상을 직접 사용하지 않으면서도 학습 신호로 보상을 활용하는가?
GRPO는 개별 출력에 직접 보상을 적용하지 않지만, 그룹 내 상대적인 보상 차이를 학습 신호로 활용합니다. 각 출력 o_i의 보상 r_i는 계산되지만, 이 값을 그대로 정책 최적화에 쓰는 대신 그룹 내 상대적 차이를 통해 Advantage(A_i)를 산출해 정책 방향을 결정합니다. 즉 GRPO는 기존 RL처럼 보상을 직접 적용하지는 않지만, 학습 방향을 정하는 데 보상 정보를 활용하는 방식이라고 이해하면 됩니다.
2) 보상 모델링 (Reward Modeling)
강화학습에서 보상(Reward)은 모델이 어떤 방향으로 최적화될지를 결정하는 핵심 신호입니다. DeepSeek-R1-Zero를 학습시키기 위해 규칙 기반 보상 시스템(rule-based reward system)을 채택하였으며, 정확도 보상(Accuracy Rewards)과 형식 보상(Format Rewards)의 두 유형으로 구성됩니다.
정확도 보상 (Accuracy Rewards): 모델이 정확한 정답을 생성하도록 유도합니다. 수학 문제처럼 결과가 정해진 결정적(Deterministic) 문제는 정답을 박스(☐) 안에 작성하도록 하여 규칙 기반 검증이 가능하게 했고, LeetCode 코딩 문제는 컴파일러와 미리 정의된 테스트 케이스로 코드 실행 결과를 평가해 통과 여부에 따라 보상을 부여했습니다.
형식 보상 (Format Rewards): 모델이 논리적 사고 과정을 명확하게 표현하도록 유도합니다. 추론 과정(Reasoning Steps)은 <think> 태그 안에 정리하고, 최종 응답(Answer)은 <answer> 태그로 표시하도록 학습시켜, 사람이 모델의 논리 과정을 쉽게 이해하고 디버깅할 수 있게 했습니다.
규칙 기반 보상 시스템의 정확도·형식 보상 예시
DeepSeek-R1-Zero가 신경망 기반 보상 모델(Neural Reward Model) 대신 규칙 기반 시스템을 택한 이유는, 신경망 기반 보상 모델이 보상 해킹(Reward Hacking)(모델이 실제 목표 대신 보상 시스템 자체를 조작해 높은 점수를 노리는 문제)과 추가 학습 비용(보상 모델 자체를 지속적으로 재학습해야 하는 부담) 문제를 초래하기 때문입니다. 규칙 기반 시스템을 채택함으로써 더 간단하고 안정적인 방식으로 학습하며 이런 문제들을 방지할 수 있었습니다.
3) 자기 진화(Self-Evolution)와 Aha Moment 기법
자기 진화(Self-Evolution Process)는 모델이 스스로 더 복잡한 추론 작업을 처리하도록 학습하는 단계로, 강화학습을 통해 모델이 외부 개입 없이 스스로 추론 능력을 향상시키는 과정입니다. SFT 없이 RL만으로 학습을 진행하므로 순수한 강화학습을 통한 모델의 발전 양상을 관찰할 수 있다는 점이 핵심입니다. 이 과정에서 나타나는 주요 현상은 다음과 같습니다.
- Test-Time Computation(테스트 시간 연산) 확장: 모델이 한 번의 추론에서 더 많은 토큰(reasoning tokens)을 생성할 수 있도록 허용되며, 이를 통해 더 깊이 사고할 기회를 얻습니다. RL 훈련 과정에서 더 많은 reasoning tokens을 생성하는 것이 더 높은 보상을 받도록 학습되기 때문에, 초기의 짧고 단순한 응답이 점차 단계별 논리 과정을 포함하는 방향(Chain-of-Thought)으로 발전합니다.
- Reflection(반성): 모델이 자신이 생성한 답변을 다시 검토하고 평가하는 능력이 자발적으로 생겨납니다. 초기에는 답을 바로 출력하지만, 학습이 진행될수록 "이 답이 맞는지", "더 나은 답변이 있는지"를 스스로 판단하는 과정이 추가됩니다.
이러한 행동들이 명시적으로 프로그래밍되지 않았음에도 나타나는 이유는, 강화학습이 정확한 답이나 논리적으로 정교한 사고 과정에 높은 보상을 부여하도록 설계되었기 때문입니다. 모델이 보상을 극대화하려는 과정에서 사고 시간 확장과 반성 같은 고차원적 행동이 자연스럽게 발현되며, Test-Time Computation이 늘어날수록 더 정교한 사고 과정이 필요해지고, Self-Evolution 과정에서 학습된 행동 패턴이 강화되는 것입니다. 즉 이는 사람이 직접 코딩한 것이 아니라, 모델이 RL 환경에서 더 나은 보상을 얻기 위해 스스로 발전한 결과입니다.
Aha Moment는 DeepSeek-R1-Zero가 강화학습 과정에서 문제 해결 방식을 근본적으로 다시 평가하는 순간을 의미합니다. 기존 방식으로 문제를 풀다가 특정 지점에서 "이 방식으로는 안 되겠다"는 깨달음을 얻고 해결 전략을 다시 설계하는 현상으로, RL 보상 시스템과 Test-Time Computation 증가가 결합되면서 자연스럽게 발생합니다.
예시: 방정식의 해를 구하는 문제에서 초기 모델은 양변을 제곱하는 방식으로 풀려고 시도하지만, 이 접근은 오히려 계산하기 까다로운 복잡한 방정식을 만들어 잘못된 결론으로 이어질 가능성이 생깁니다. 모델은 자신의 풀이가 비효율적임을 깨닫고 사고를 다시 정리하는데("잠깐만, 무언가 잘못됐다!", "이 방식이 너무 복잡하다. 좀 더 직관적으로 접근해 보자"), 이것이 바로 Aha Moment입니다. 예를 들어 내부 제곱근을 새로운 변수로 치환해 방정식을 단순화하는 식으로, 문제를 단계적으로 해결하면서 계산 복잡도를 낮추고 더 정확한 해를 도출합니다.
'Aha Moment' 예시: 비효율적인 풀이 전략을 스스로 재평가하고 전환
Aha Moment는 다음과 같은 방식으로 인식되고 학습됩니다.
- 인식: 초기 접근 방식이 낮은 보상을 받으며 실패 패턴으로 학습되고, Reflection과 Test-Time Computation 증가 과정에서 이전보다 더 많은 reasoning tokens을 생성하는 패턴 변화가 감지되며, 특정 문제 유형에서 사고 시간이 증가하는 현상이 나타납니다.
- 재평가: 비효율적인 해결 방식에는 낮은 보상이 부여되고, 모델은 보상을 극대화하려는 특성 때문에 새로운 접근 방식을 탐색하며 Self-Consistency와 Reflection을 강화합니다.
- 전환: 탐색(Exploration)과 활용(Exploitation) 개념에 따라, 모델은 기존 방식의 실패를 인식하고 새로운 접근을 탐색하는 방향으로 학습하며, 체크포인트 기반 비교를 통해 더 높은 보상을 받는 새 방식을 강화하고, 더 많은 reasoning tokens을 사용해 해결 방식을 개선합니다.
GRPO는 개별 출력에 직접 보상을 주지 못하는 구조이지만, Aha Moment 이후 새로운 접근법을 강화하는 것이 여전히 가능합니다. 같은 질문에 대해 기존 방식과 새로운 방식(Aha Moment 이후)을 함께 그룹에 포함해 상대 비교하면, reasoning tokens이 더 많고 논리적인 응답이 상대적으로 더 높은 평가를 받도록 조정되어 점진적으로 강화됩니다. 이처럼 GRPO는 직접 보상 없이도 그룹 내 상대 평가를 통해 Aha Moment 같은 예측 불가능한 정교한 문제 해결 전략의 등장을 학습 신호로 반영할 수 있다는 점이, 강화학습의 강력한 특성을 보여주는 사례입니다.
4) DeepSeek-R1: Cold Start와 다단계 학습
가) Cold Start란?
Cold Start는 초기 강화학습 과정이 불안정해지는 문제를 방지하기 위해, 사전에 일정량의 데이터를 활용하여 모델을 미세조정하는 방법입니다. R1-Zero는 완전한 RL 과정에서 출발했지만 초기에 불안정한 상태를 겪었고, 이를 해결하기 위해 R1에서는 먼저 소규모의 Long CoT 데이터를 수집해 초기 RL Actor(RL 학습을 본격적으로 시작하기 전에 미세조정된 모델)를 구성했습니다.
Cold Start의 이점은 두 가지입니다. 가독성: R1-Zero의 주요 한계는 응답 가독성이 낮다는 점(여러 언어 혼합, 마크다운 형식 부족)이었는데, R1은 초기 데이터 수집 시 가독성을 고려한 패턴을 설계해 각 응답 끝에 요약을 포함하고 읽기 어려운 응답은 필터링했습니다. 잠재력: 인간의 사전 지식을 반영한 초기 데이터 패턴을 신중하게 설계한 결과, R1이 R1-Zero보다 향상된 성능을 보였습니다.
Long CoT Cold Start Data 수집 방법: (A) Few-shot Prompting을 활용해 긴 CoT 데이터를 예시로 제공, (B) Reflection & Verification 기반 프롬프팅으로 모델이 스스로 답을 재검토하도록 유도, (C) R1-Zero의 출력을 가독성 높은 형식으로 변환, (D) 인간 주석자의 후처리(Post-processing)로 품질 개선.
출력의 Readable Format: Cold Start 데이터는 |special_token|<추론 과정>|special_token|<요약> 형식을 표준으로 사용합니다.
Cold Start 데이터의 가독성 높은 출력 포맷 정의
이 포맷이 바람직한 이유는 (i) 모든 답변이 동일한 형식을 따르도록 강제해 응답 일관성을 높이고, (ii) 추론 과정과 최종 답을 명확히 구분해 사람이 이해하기 쉽게 하며, (iii) 모델이 더 구조적으로 정보를 처리하도록 도와 정교한 CoT 추론을 가능하게 하고, (iv) Iterative Training(반복 학습)과의 궁합이 좋아 이후 더 개선된 데이터셋을 만들어낼 수 있기 때문입니다.
데이터 설계 및 구성: R1은 Cold Start 데이터, Reasoning 데이터, Non-Reasoning 데이터의 세 가지 유형을 활용합니다. Reasoning 데이터는 Rejection Sampling과 규칙 기반 평가(수학 정답 검증, 코드 컴파일 테스트 등)로 정확한 응답만 선별하고, DeepSeek-V3를 활용해 혼합 언어와 불필요한 코드 블록을 필터링하였습니다. Non-Reasoning 데이터는 창의적 글쓰기, 사실 기반 QA, 자기 인식, 번역 등을 다루며 DeepSeek-V3 파이프라인을 재사용하여 효율성을 극대화합니다. 최종적으로 Reasoning 데이터(약 60만 개)와 Non-Reasoning 데이터(약 20만 개)를 통합해 약 80만 개의 데이터셋을 구성하고, 2 에포크 동안 Fine-Tuning을 진행합니다.
5) 추론 중심 강화학습 (Reasoning-Oriented Reinforcement Learning, RoRL)
Cold Start로 미세조정된 DeepSeek-V3-Base 모델을 기반으로 대규모 RL 훈련을 적용해, 수학·코딩·과학·논리 추론과 같은 고난이도 reasoning-intensive task에서 성능을 강화하는 것이 목표입니다. DeepSeek-R1은 단순한 정답 예측이 아니라 문제 해결 과정을 체계적으로 표현하도록 학습되며, 추론 과정을 명확히 나타내는 긴 Reasoning Tokens을 생성하도록 최적화됩니다.
이 과정에서는 언어 혼합(Language Mixing) 문제가 도전 과제로 등장했습니다 — RL 훈련 중 여러 언어가 혼합된 프롬프트를 제공하면 CoT 출력에서 언어적 일관성이 깨지고 가독성과 논리 흐름이 왜곡되는 현상입니다. 해결책으로 언어 일관성 보상(Language Consistency Reward)을 도입해, CoT 내 목표 언어(예: 영어 또는 중국어)의 단어 비율을 보상 점수로 활용했습니다. 최종 보상 값은 추론 정확도 점수와 언어 일관성 점수를 합산하여 결정됩니다. 실험 결과 이 방식이 정확도를 약간 낮출 수도 있지만, 가독성이 향상되고 사람이 더 선호하는 응답을 제공하는 방향으로 정렬되었습니다. 결과적으로 DeepSeek-R1은 수학·코딩·과학·논리 추론 같은 고난도 과제에서 더욱 강력한 성능을 발휘하며, 언어적 일관성을 유지하는 능력까지 갖춘 모델로 발전하였습니다.
6) 거부 샘플링(Rejection Sampling)과 SFT
Reasoning-Oriented RL이 수렴한 이후, 생성된 Resulting Checkpoint를 이용해 SFT 데이터를 추가로 수집하고 모델을 미세조정합니다. 이는 (A) 이전 단계에서 주로 다루지 못한 범용적 태스크(문서 작성, 역할 수행 등) 성능을 보완하고, (B) 모델이 생성한 데이터 중 품질 높은 응답만 선별(Rejection Sampling)해 데이터 신뢰성을 높이기 위함입니다. Reasoning 데이터와 Non-Reasoning 데이터를 성격이 다르다는 이유로 분리해 수집·학습합니다 — Reasoning 태스크는 정확성과 추론 능력이, Non-Reasoning 태스크는 일관성과 가독성이 중요하기 때문입니다.
7) 모든 시나리오를 위한 2차 강화학습 (Reinforcement Learning for All Scenarios)
1단계 RL에서 논리적 사고를 강화했지만 그대로 쓰면 사용자 경험이 최적이 아닐 수 있고, 정답이 명확하지 않은 복잡한 태스크(창의적 글쓰기, 철학적 논의, 윤리적 문제)에서는 규칙 기반 평가가 불가능하며, AI가 편향되거나 위험한 내용을 생성하지 않도록 안전성 개선도 필요합니다. 이를 위해 2차 강화학습에서는 다음을 적용했습니다.
- 추론 관련 보상은 정답이 명확한 태스크에서 기존 Rule-Based 보상 모델을 유지
- 일반 데이터 관련 보상은 정답이 명확하지 않은 질문에서 사용자 선호를 반영하는 보상 모델(DeepSeek-V3 파이프라인 기반 선호 쌍 활용)을 사용
- 다양한 Prompt Distributions을 활용해 일상적 질문부터 고급 추론, 민감한 윤리적 질문까지 폭넓게 학습
- Helpfulness(유용성): 추론 과정 자체는 그대로 두고 최종 요약(Final Summary)의 유용성과 관련성만 평가해 보상 부여
- Harmlessness(무해성): 추론 과정과 요약을 포함한 전체 응답을 평가해 편향·위험 요소를 제거
이를 통해 DeepSeek-R1은 강력한 논리적 사고 능력을 유지하면서도 사용자 친화적인 응답을 생성하는, Reasoning + Helpfulness + Harmlessness를 갖춘 모델로 완성되었습니다.
8) 증류(Distillation)를 통한 소형 모델의 추론 능력 강화
DeepSeek-R1의 추론 능력을 소형 모델로 증류하는 과정
대형 모델이 학습한 고급 추론 패턴과 능력을 소형 모델에 전달해, 리소스 효율적이면서도 강력한 추론 성능을 가진 모델을 구축하는 것이 목표입니다. 800k개의 데이터셋(DeepSeek-R1에서 수집된 데이터)을 활용해 오픈소스 모델에 미세조정을 진행했습니다. 증류 과정에서는 강화학습(RL) 없이 지도 미세조정(SFT)만 적용했는데, 이는 증류 기법 자체만으로도 소형 모델이 고급 추론 능력을 상당히 계승할 수 있음을 순수하게 검증하기 위해서였습니다. 실험 결과, 가벼운 모델에 추가로 강화학습을 적용하는 것보다 SFT만으로 증류하는 편이 더 우수한 성능을 보였습니다. DeepSeek 팀은 RL 단계를 추가하면 더 정교하고 고차원적인 추론 성능을 제공할 수 있을 것으로 추정하며, 이를 오픈 커뮤니티의 후속 연구 과제로 제안했습니다.
3. V3와 R1, 무엇이 다르고 언제 무엇을 쓰나
두 모델은 종종 나란히 언급되지만 지향점이 다릅니다. R1이 OpenAI o1과 어떻게 비교되는지는 널리 알려져 있는 반면, V3가 어떤 모델과 경쟁하는지는 상대적으로 덜 언급됩니다.
| 구분 | DeepSeek-V3 | DeepSeek-R1 |
|---|
| 성격 |
효율적인 범용 MoE 언어모델 |
순수 RL 기반 추론 특화 모델 |
| 주요 비교 대상 |
GPT-4o, Claude-3.5-Sonnet 등 범용 폐쇄형 모델 |
OpenAI o1 계열 추론 모델 |
| 강점 영역 |
지식(MMLU 등), 중국어 사실 지식(Chinese SimpleQA), 코딩 경진 벤치마크 |
수학·코딩·논리 추론에서 긴 사고과정을 통한 정밀한 문제 해결 |
| 학습 방식 |
사전학습 + SFT + RL(+ R1 증류) |
SFT 없이 순수 RL(R1-Zero) → Cold Start + 다단계 RL/SFT(R1) |
| 적합한 용도 |
일반 대화, 문서 작성, 다목적 업무 처리 |
긴 추론 과정이 필요한 수학·과학·복잡한 논리 문제 |
V3는 GPT-4o·Claude-3.5-Sonnet과 견줄 만한 성능을 경제적인 비용으로 구현한 범용 모델이고, R1은 긴 사고과정을 강화학습만으로 학습해 o1급 추론 성능을 오픈소스로 구현한 특화 모델입니다. 두 모델은 경쟁 관계가 아니라, R1의 추론 능력이 V3로 환류되는 상호보완적 관계에 있다는 점이 이 프로젝트 전체를 이해하는 핵심입니다.
4. 최신 업데이트: Nature 게재와 수치 정정
DeepSeek-R1 논문의 Nature 게재
DeepSeek-R1 논문은 2025년 1월 arXiv 프리프린트로 처음 공개된 이후 동료심사를 거쳐 Nature지(2025, Vol. 645, pp. 633–638)에 정식 게재되었습니다. 외부 전문가 검증을 통과했다는 점에서 연구의 신뢰도를 뒷받침하는 사실입니다.
AIME 2024 성능 수치 정정
R1-Zero의 AIME 2024 pass@1 성능은 2025년 1월 arXiv 프리프린트(v1) 기준 "15.6% → 71.0%"였고, 다수결(majority voting) 적용 시 86.7%까지 상승해 OpenAI-o1-0912와 유사한 성능을 보였다고 보고되었습니다. 이 수치는 여전히 대부분의 자료에서 인용되고 있지만, 2026년 1월 갱신된 Nature 게재판(arXiv v2)에서는 해당 수치가 15.6% → 77.9%로 소폭 상향 조정되었습니다(self-consistency 적용 시 86.7%는 동일하게 유지). 최신 공식 수치를 인용할 때는 77.9%를 기준으로 삼는 것이 정확합니다.
핵심 요약
V3와 R1의 관계: R1은 V3-Base에서 파생되고, R1의 추론 능력은 다시 V3로 증류되는 순환 구조입니다.
V3의 위치: GPT-4o·Claude-3.5-Sonnet급 범용 성능을 훨씬 낮은 비용으로 구현한 MoE 모델입니다.
R1의 위치: 지도학습 없이 순수 RL만으로 o1급 추론 능력을 얻어낸 오픈소스 추론 모델입니다.
최신 정정: R1 논문은 Nature에 정식 게재되었고, AIME 2024 수치는 77.9%로 갱신되었습니다.
DeepSeek의 연구는 "특별한 자금이나 인재가 없어서 못 한다"는 변명이 더 이상 통하지 않을 수 있음을 보여줍니다. 논문과 소스코드를 함께 공개하며 지속적으로 커뮤니티의 피드백을 받는 개방형 연구 방식 자체가, 이 프로젝트가 남긴 또 하나의 중요한 유산이라 할 수 있습니다.
참고자료
- DeepSeek-AI et al. (2024). DeepSeek-V3 Technical Report. arXiv:2412.19437. arxiv.org/abs/2412.19437
- DeepSeek-AI et al. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948 (Nature 645, 633–638, 2025). arxiv.org/abs/2501.12948
개정이력
| 2026.07 | 1차 검증(핵심 수치의 원문 대조)과 2차 검증(V3·R1 관계 설명 보강, V3의 GPT-4o·Claude-3.5-Sonnet 비교 추가, 결론 비교표 신설)을 통합 반영. Nature 게재 사실 및 AIME 2024 수치 정정(71.0%→77.9%) 반영. 원문의 아키텍처·하이퍼파라미터·GRPO 수식·Cold Start·증류 등 기술적 세부 내용을 원문 그대로 충실히 복원하되, 동일 내용을 반복하던 문답(Q&A) 형식 일부는 중복 없이 통합 정리. 원문에 삽입된 모든 도식(총 12개 이미지)을 화면 크기에 따라 자동 조정되는 반응형 이미지로 포함. |
|---|
※ 본 포스트는 공개된 기술 논문을 바탕으로 한 요약·해설이며, 세부 하이퍼파라미터 및 수식은 원 논문을 기준으로 재확인하시기 바랍니다.
