누구나 쉽게 이해할 수 있는 강화학습 원리(The Principles of Reinforcement Learning Made Easy)

I. 들어가는 말(Background)

얼마 전 한 변호사님이 강화학습이 무엇인지 질문하셨습니다. 딥러닝 및 인공지능 기술을 수학적 배경 지식이 부족한 분께 설명하는 것은 쉽지 않은 일입니다. 이를 해결하기 위해, "역와쿠이 요시유키. (2020). 엑셀로 배우는 순환 신경망·강화학습 초(超)입문"이라는 책을 참고하여, 수학적 용어를 최소화하고 논리적으로 설명을 시도하였습니다. 이 책을 바탕으로, 수학적 기초 지식이 부족한 분들도 인공지능 컴퓨팅 기술의 기본을 이해할 수 있도록 이 글을 작성하게 되었습니다. 이 과정은 저에게도 관련 내용을 체계적으로 정리할 수 있는 좋은 기회가 되었습니다.

Not long ago, a lawyer asked me what reinforcement learning is. Explaining deep learning and artificial intelligence technologies to someone without a strong mathematical background is no easy task. To address this challenge, I referred to the book Excel de Manabu RNN & Reinforcement Learning: A Super Introductory Guide by Yoshiyuki Yakuwa (2020). Drawing from this resource, I attempted to provide a logical explanation while minimizing the use of mathematical terminology. Based on this book, I wrote this piece to help those with limited mathematical knowledge grasp the fundamentals of AI computing technologies. This process also provided me with an excellent opportunity to systematically organize my understanding of the subject.

특허출원 건수가 기술 혁신리더의 증거인가 (Is the number of patent applications evidence of technological innovation leadership)?

우리나라에서는 미국 내 특허 출원 건수를 근거로 우리가 첨단 기술 주도권을 확보하고 있다며 안도하는 경향이 있습니다.

하지만 미국은 빅테크 기업들의 출원 건수나 순위 자체에는 큰 의미를 두지 않는 것으로 보입니다. 물론 동아시아 국가들이 미국 내 특허 출원에서 높은 점유율을 차지하는 부분은 미국내 미치는 영향 때문에 경계하고는 있지만, 미국은 기술 혁신의 강점을 빅테크가 아닌 분산된 리틀테크(스타트업, 중소기업, 대학, 개인 발명가 등)의 네트워크에서 찾고 있는 것이 인상적입니다.

In Korea, there is a tendency to feel reassured about having secured leadership in advanced technologies by focusing on the number of U.S. patent applications filed by Korean companies. However, the U.S. doesn’t seem to place much emphasis on the application numbers or rankings of big tech companies. While the high share of U.S. patent applications from East Asian countries—such as Korea and China—raises concerns due to its potential impact on the domestic market, it’s notable that the U.S. views its strength in technological innovation as stemming not from big tech but from a decentralized network of “little tech” players (startups, small businesses, universities, and individual inventors).

PatentlyO 블로그를 운영하는 Dennis 교수의 LinkedIn 글과 블로그를 보면, 한국과 중국 등 동아시아 빅테크 기업들이 미국 빅테크보다 높은 특허 출원 순위를 기록하고 있는 것이 사실이지만, 이것이 미국이 기술 혁신의 주도권을 상실했다는 증거는 아니라는 점을 강조합니다.

빅테크 기업들의 양적 순위는 낮을 수 있지만, 미국의 혁신은 대기업이 아닌 리틀테크의 분산된 생태계에서 활발히 이루어지고 있다고 합니다. 저도 그 주장에 동의합니다.

According to Dennis Crouch, the professor behind the PatentlyO blog, East Asian big tech companies like those from Korea and China rank higher than U.S. big tech companies in terms of patent filings. However, he emphasizes that this is not evidence of the U.S. losing its leadership in innovation. While the quantitative rankings of U.S. big tech companies may fall behind, the core of U.S. innovation is driven by the vibrant, decentralized ecosystem of small tech players. I fully agree with this perspective.

따라서 개별 기업의 순위를 완전히 무시할 필요는 없지만, 미국의 전반적인 기술 혁신력은 여전히 강력하다는 메시지를 전달하고 있습니다.

결국, 이는 과거 빅테크 중심으로 왜곡되었던 특허 정책을 리틀테크(발명자) 중심으로 전환해, 특허제도가 본래 지향해야 할 균형과 혁신 생태계를 회복해야 한다는 함의를 담고 있습니다.

While individual company rankings shouldn’t be completely ignored, the broader message is that the overall U.S. innovation capacity remains robust. Ultimately, this implies that the patent system, which has become skewed toward big tech in the past, should shift back toward supporting little tech players and restore its role in fostering a balanced, innovation-driven ecosystem.

저는 미국의 강점을 더 강화하기 위해서는 스타트업과 중소기업에 대한 투자 확대와 빅 테크 기업과 리틀 테크 기업 간의 협력을 장려하는 정책이 매우 효과적일 것이며, 또한, 특허 출원 건수나 순위에 초점을 맞추기보다는 전 세계적으로 혁신의 질과 상업적 성공을 더 잘 측정할 수 있는 새로운 지표를 개발해야 한다고 댓글을 달았습니다.

In my response, I noted that to further enhance the U.S.’s strengths, it would be highly effective to increase investments in startups and small businesses and encourage collaboration between big tech and little tech companies. Additionally, I suggested that developing new metrics to better assess the quality of innovation and commercial success globally, rather than focusing solely on patent filing numbers or rankings, would be crucial.

[February 6, 2025]

DeepSeek model V3와 R1의 모든 것

DeepSeek: V2에서 R1까지, 실용적 AI 혁신의 여정 DeepSeek은 V2에서 V3, R1-0을 거쳐 R1 개발에 성공하기까지 수많은 도전과 변화를 겪어왔습니다. 지난해 말 V3가 발표될 당시만 해도 회의적인 시각이 많았고, 아직 갈 길이 멀다는 평가가 있었습니다. 그러나 올해 1월 R1이 발표되면서 AI 업계뿐만 아니라 다양한 산업군에서 DeepSeek에 대한 관심이 급격히 높아졌습니다. DeepSeek의 기술 발전 과정을 살펴보면, 단순한 성능 개선을 넘어 실용적이고 현실적인 문제 해결에 집중한 접근 방식이 돋보입니다. V3 기술 보고서와 R1 발표 논문을 읽다 보면, 기존 연구들을 기반으로 효과적인 최적화를 수행하며, 실제 AI 시스템에 적용할 수 있는 방법론을 정교하게 발전시켜 왔음을 알 수 있습니다. DeepSeek: The Journey from V2 to R1, A Practical AI Innovation DeepSeek has undergone numerous challenges and transformations, from V2 to V3, R1-0, and ultimately, the successful development of R1. Many were skeptical when V3 was announced late last year, believing there was still a long way to go. However, with the release of R1 in January this year, interest in DeepSeek surged across the AI industry and various other sectors. Examining DeepSeek’s technological advancements from V2 to V3, and then from R1-0 to R1, provides insight into their research trajectory and development philosophy. Reading the V3 technical report and the R1 announcement paper, it becomes evident that their focus is not merely on improving raw performance but on developing a highly practical and effective approach to real-world AI applications. DeepSeek을 둘러싼 평가와 현실 DeepSeek의 기술에 대해 "새로운 패러다임을 제시한 것은 아니다", "시장 기술 대비 월등한 성능을 보이는 것도 아니다"라는 평가도 존재합니다. 하지만 DeepSeek이 거인의 어깨 위에 올라선 방식은 매우 실용적이며, AI 연구에서 중요한 발전을 이루었다는 점을 간과해서는 안 됩니다. 논문과 소스코드를 보면, DeepSeek의 접근 방식은 단순해 보일 수도 있습니다. ·                   "별것 아닌 것 같은데?"라는 안도감 ·                   "이 아이디어를 이렇게 적용하면 효과가 있나?"라는 의구심 하지만, 실제로 오픈소스를 분석해 보면 그러한 안도감과 의구심은 곧 경외감으로 바뀝니다. Evaluations and the Reality of DeepSeek There are still claims that "DeepSeek hasn’t introduced a new paradigm of AI" or that "its performance is only comparable to existing technologies, not significantly superior." However, it’s crucial to recognize that DeepSeek has climbed onto the shoulders of giants in an exceptionally practical way, achieving remarkable progress in AI research. At first glance, DeepSeek's ideas might seem simple when looking at their papers and source code: "Is this really all that groundbreaking?"—a sense of reassurance. "Would this idea actually be effective when applied this way?"—a feeling of skepticism. I felt the same way. However, upon analyzing and running their open-source implementation, that initial reassurance and skepticism quickly turned into admiration. 단순하지만 강력한 구현 방식 DeepSeek이 공개한 코드는 놀라울 정도로 단순하게 구현되었습니다. ·                   복잡한 이론은 기존 연구를 활용하면서도, Hugging Face 모듈을 적극적으로 활용. ·                   논문에서 다루지 않았지만, 실용적인 최적화 아이디어를 적용하여 더욱 효과적인 모델을 구축. 이러한 점들을 보면, AI 연구에서 "자금이 부족해서 할 수 없다", "전폭적인 지원이 부족하다", "인재가 없다"는 변명이 더 이상 통하지 않을지도 모릅니다. DeepSeek의 접근 방식은 누구나 생각해볼 수 있는 아이디어들이지만, 결국 그 아이디어들을 제대로 구현하고 실용화한 것이 차별점입니다. Simple Yet Powerful Implementation DeepSeek’s open-source code is astonishingly simple and efficient. Instead of reinventing complex theories, they effectively leverage existing research while incorporating Hugging Face modules. They apply fine-grained optimizations, even implementing practical ideas that are not explicitly detailed in their papers. Considering this, excuses like "lack of funding," "insufficient support," or "shortage of talent" may no longer hold as barriers to AI research. DeepSeek’s approach is built on ideas that anyone could conceive, yet their true innovation lies in executing and refining these ideas into practical, high-performing systems. DeepSeek의 연구를 정리하며 구슬도 꿰어야 보물이 됩니다. DeepSeek은 이론과 기술을 체계적으로 연결하여, 실제 AI 시스템에 적용 가능한 형태로 그 구슬을 꿰어냈습니다. 이번에 V3와 R1의 문서를 정독하고, 보다 상세하게 내용을 정리했습니다. 이 글은 강화 학습이나 인공지능에 대한 기초 지식이 있는 분이라면 쉽게 이해할 수 있도록 구성하였습니다. 저 역시 공부하는 마음으로 주말을 비워 정리했고, 이를 공유합니다. DeepSeek의 기술 발전 과정과 핵심 아이디어들을 함께 탐구해 보시죠. Reflections on DeepSeek’s Research As the saying goes, "A pearl must be strung to become a treasure." DeepSeek has successfully strung together the right technologies to create a system that is truly applicable in AI practice. After carefully reading through the V3 and R1 documentation, I have organized and detailed my findings. This article is structured to be accessible to those with basic knowledge of reinforcement learning and artificial intelligence. I, too, took the time to study and compile this over the weekend, and now I share it with you. Let’s explore DeepSeek’s technological advancements and core innovations together.