[논문 리뷰] Kimi K3 — 오픈 모델도 3T급 에이전트 시스템을 겨냥한다

Kimi K3: Open Frontier Intelligence

Kimi Team (2026)- Technical Report

한 줄 요약

Kimi K3는 2.8T 파라미터 MoE, 104B activated parameters, native vision, 1M token context, long-horizon agentic RL을 한 번에 묶은 오픈 모델이다. 내가 보기엔 이 리포트의 핵심은 “새로운 LLM 하나”가 아니라 오픈 모델이 frontier agent system으로 가려면 모델·데이터·RL 환경·sandbox·serving scheduler가 모두 같이 설계되어야 한다는 점이다.

Kimi K2가 대형 MoE의 가능성을 보여줬다면, Kimi K3는 그 다음 질문을 던진다.

오픈 모델도 긴 시간 동안 도구를 쓰고, 1M token context를 관리하고, vision-in-the-loop로 결과를 검증하고, 운영 비용까지 맞출 수 있을까?

리포트의 답은 꽤 공격적이다. Kimi K3는 proprietary 최상위 모델을 모든 영역에서 넘었다고 주장하지 않는다. 오히려 Claude Fable 5, GPT-5.6 Sol 같은 최상위 proprietary 모델에는 여전히 일부 격차가 있다고 명시한다. 대신 Kimi K3는 오픈 모델 중에서는 frontier에 가까운 성능과 비용 효율을 보여주는 것을 목표로 한다.

먼저 스펙부터 보기

리포트에 나온 Kimi K3의 주요 스펙은 다음과 같다.

항목	Kimi K3
총 파라미터	2.78T
활성 파라미터	104.2B
구조	Mixture-of-Experts
Routed experts	896
Active experts per token	16
Shared experts	2
Layers	93
Training context length	1M tokens
Attention	Hybrid KDA-MLA
Vision encoder	MoonViT-V2, 약 401M parameters

Kimi K2와 비교하면 총 파라미터는 1.04T에서 2.78T로, activated parameters는 32.6B에서 104.2B로 커졌다. expert 수도 384개에서 896개로 늘었고, token당 active expert도 8개에서 16개로 증가했다.

하지만 리포트가 강조하는 건 단순한 크기 경쟁이 아니다. Kimi 팀은 KDA, Attention Residuals, Stable LatentMoE, 데이터·학습 레시피 개선을 합쳐 Kimi K2 대비 약 2.5배 scaling efficiency 개선을 얻었다고 주장한다.

여기서 중요한 표현은 efficiency다. 요즘 frontier model 경쟁에서 단순히 “더 크게 학습했다”는 말만으로는 부족하다. 학습 비용, serving 비용, context 비용, tool-use 비용이 모두 커지고 있기 때문이다.

Kimi K3의 아키텍처를 세 축으로 보기

Kimi K3의 구조는 크게 세 방향의 정보 흐름을 확장하려는 시도로 볼 수 있다.

축	문제	Kimi K3의 선택
Sequence length	1M context를 어떻게 처리할 것인가	Kimi Delta Attention + Gated MLA
Network depth	깊은 layer에서 정보가 어떻게 흐를 것인가	Attention Residuals
Model width	expert specialization을 어떻게 키울 것인가	Stable LatentMoE

1. Hybrid Attention: KDA 3개와 MLA 1개

Kimi K3의 backbone은 각 block 안에 3개의 Kimi Delta Attention layer와 1개의 Gated MLA layer를 둔다. 마지막에도 global attention을 보장하기 위해 Gated MLA layer를 추가한다.

KDA는 recurrent state 기반 attention이다. 일반 softmax attention은 sequence가 길어질수록 KV cache가 계속 커진다. 반면 KDA는 고정 크기의 recurrent state로 이전 context를 압축해 전달한다. 그래서 긴 sequence에서 유리하다.

다만 recurrent 또는 linear attention 계열만 쓰면 token-to-token global interaction이 약해질 수 있다. Kimi K3는 이 문제를 Gated MLA로 보완한다. MLA는 DeepSeek-V2 계열에서 알려진 방식처럼 key-value를 latent vector로 압축해 global attention을 제공한다.

정리하면 이렇다.

KDA: 긴 context를 효율적으로 섞는 역할
Gated MLA: 주기적으로 global interaction을 보존하는 역할
NoPE: RoPE rescaling 없이 1M context로 확장하기 위한 선택

나는 이 조합이 꽤 실용적이라고 본다. 1M token context에서 모든 layer를 full attention으로 밀어붙이는 것은 운영 관점에서 너무 비싸다. 반대로 linear attention만 쓰면 global retrieval이 약해질 수 있다. Kimi K3는 둘 사이에서 “대부분은 효율적으로, 가끔은 전역적으로”라는 절충을 택한다.

2. KDA를 실제 GPU에서 빠르게 만들기

KDA 자체도 그냥 가져다 쓴 것이 아니라 계산 안정성과 kernel 효율을 위해 바꿨다.

기존 Kimi Linear 방식에서는 cumulative decay의 reciprocal이 커지면서 finite precision에서 overflow 위험이 생긴다. Kimi K3는 log-decay를 scaled sigmoid로 parameterize해서 하한을 둔다. 리포트 기준 gmin = -5이고, retention factor는 e^-5, 즉 약 6.7e-3보다 커진다.

이 변화의 실용적 의미는 크다. decay 범위가 bounded되면 diagonal tile까지 Tensor Core dense matmul로 처리할 수 있다. 즉 “긴 context에 이론적으로 좋은 attention”을 넘어, 실제 GPU kernel로 빠르게 돌릴 수 있는 형태에 가깝게 만든 것이다.

LLM 시스템에서 이런 디테일은 중요하다. 좋은 아키텍처도 kernel이 못 받쳐주면 serving 비용에서 바로 무너진다.

3. Attention Residuals: layer 방향의 attention

일반 residual connection은 이전 layer들의 정보를 하나의 hidden state에 계속 누적한다. Kimi K3는 여기에 Attention Residuals를 넣는다.

아이디어는 단순하다.

token 사이에서 attention을 하듯이, layer 사이에서도 필요한 이전 representation을 선택적으로 보자.

각 layer가 모든 이전 layer의 출력을 단순 누적하는 대신, embedding과 preceding block output을 attention으로 골라 참조한다. 다만 모든 layer output을 그대로 들고 있으면 비용이 크기 때문에 Kimi K3는 Block AttnRes를 사용한다. layer를 block으로 나누고 block-level representation을 유지해 memory와 communication overhead를 줄인다.

agent model 관점에서 이 부분은 꽤 흥미롭다. 긴 작업을 잘하는 모델은 긴 입력만 잘 읽는 것이 아니라, 내부 reasoning representation도 깊은 layer를 지나며 잘 보존해야 한다. AttnRes는 이 깊이 방향 병목을 줄이려는 장치로 볼 수 있다.

4. Stable LatentMoE: expert 수를 키우면서 안정성 잡기

Kimi K3는 896 routed experts 중 token당 16개를 활성화한다. 이 정도로 expert space를 키우면 문제가 생긴다.

routed branch activation이 폭주할 수 있다.
expert load가 불균형해진다.
expert-parallel communication과 memory fragmentation이 커진다.
일부 expert는 과열되고 일부 expert는 거의 학습되지 않는 문제가 생긴다.

Kimi K3는 이를 Stable LatentMoE로 다룬다. 구성 요소는 세 가지다.

첫째, routed expert aggregate 뒤에 RMSNorm을 넣어 scale variation을 줄인다. 둘째, SwiGLU 대신 SiTU-GLU를 사용한다. SwiGLU는 성능은 좋지만 multiplicative branch가 unbounded라 큰 모델에서 activation outlier와 overflow 위험이 있다. SiTU-GLU는 tanh 기반 soft cap으로 큰 값을 제한한다. 셋째, Quantile Balancing을 도입해 expert별 target load에 맞게 routing bias를 조정한다.

MoE는 논문에서 보기엔 “활성 파라미터만 쓰니까 효율적”으로 보이지만, 실제 운영에서는 routing imbalance와 all-to-all communication이 병목이 된다. Kimi K3 리포트가 이 문제를 모델 구조와 training system 양쪽에서 같이 다루는 점이 중요하다.

Native Vision: 비전을 나중에 붙이지 않았다

Kimi K3는 native multimodal model이다. 즉 텍스트 모델을 먼저 학습한 뒤 vision encoder를 사후 정렬하는 방식이 아니라, text, image, video를 처음부터 같은 next-token prediction objective로 학습한다.

특히 흥미로운 선택은 vision encoder인 MoonViT-V2를 scratch부터 학습했다는 점이다. 보통은 SigLIP 같은 contrastive pre-trained encoder를 가져와 붙인다. Kimi 팀은 이 방식이 joint optimization에서 gradient spike를 만들고 불안정하다고 보고, from-scratch MoonViT-V2를 택했다.

리포트에 따르면 MoonViT-V2는 SigLIP-initialized baseline과 vision evaluation에서 비슷한 수준을 보이면서도 training stability가 더 좋았다.

이 선택은 Kimi K3가 단순 VQA 모델이 아니라 vision-in-the-loop agent를 목표로 하기 때문에 중요하다. 예를 들어 모델이 웹 UI를 만들고, 렌더링 결과를 스크린샷으로 보고, 문제를 찾아 수정하고, 다시 실행하는 루프를 돌리려면 vision과 language가 한 context 안에서 자연스럽게 섞여야 한다.

비전 모델을 별도로 호출하는 구조도 가능하지만, 장기 agent workflow에서는 hand-off 비용과 state mismatch가 커진다. Kimi K3는 이 문제를 모델 구조 자체에서 줄이려는 쪽에 가깝다.

1M context는 “길게 넣기”가 아니라 “길게 쓰기” 문제다

Kimi K3는 1M token context를 지원한다. 하지만 리포트에서 더 중요한 부분은 context window 숫자가 아니라, 그 context를 실제로 쓰기 위한 학습 방식이다.

긴 문서와 비디오는 품질 문제가 많다. 중복, binary blob, 잘린 파일, invalid log, 낮은 품질의 video clip이 섞인다. Kimi K3는 exact/fuzzy deduplication, video frame perceptual hashing, quality filtering, structural validation 등을 적용한다.

그리고 긴 coherent document와 video를 upsample한다. 짧은 text가 훨씬 많기 때문에 그냥 섞어 학습하면 long-context distribution이 묻히기 때문이다.

더 중요한 건 synthetic long-context task다. 리포트는 multimodal document와 sub-task를 carefully permute/concatenate해서, 정보가 1M context 전체에 흩어져 있어야 풀 수 있는 task를 만든다고 설명한다.

이 지점이 핵심이다.

긴 context window를 갖는 것과 긴 context를 실제로 활용하는 것은 다르다.

RAG나 agent memory에서도 같은 문제가 있다. context에 정보를 넣는 것만으로는 충분하지 않다. 모델이 그 정보를 찾아야 하고, distractor에 흔들리지 않아야 하고, 필요한 순간에 다시 꺼내 써야 한다. Kimi K3의 long-context curriculum은 이 문제를 직접 겨냥한다.

Post-training: agentic RL을 정면으로 다룬다

Kimi K3의 post-training은 세 단계로 구성된다.

SFT로 baseline agent capability를 만든다.
RL로 domain별, reasoning effort별 expert model을 학습한다.
Multi-Teacher On-Policy Distillation으로 하나의 unified model로 합친다.

RL은 general, general agents, coding agents 세 domain에 걸쳐 진행된다. 각 domain마다 reasoning effort를 low, high, max로 나눠 총 9개의 expert model을 만든 뒤 distillation한다.

이 방식은 최근 frontier model의 방향과 잘 맞는다. 모든 요청에 같은 생각 시간을 쓰는 모델은 운영에서 비효율적이다.

짧은 질문은 빠르게 답해야 한다.
어려운 reasoning은 더 오래 생각해야 한다.
coding agent나 research agent는 수십~수천 번의 tool call을 감당해야 한다.

Kimi K3는 이 차이를 post-training 단계에서 effort level로 분리해 학습한다.

Agent 환경: benchmark answer가 아니라 실제 작업 상태를 바꾼다

리포트에서 가장 눈에 띄는 부분 중 하나는 RL environment다. Kimi K3는 단일 agent harness에 과적합되는 문제를 피하기 위해, tool interface, system prompt, context management, skills, memories, subagents 같은 요소를 모듈화한 white-box RL environment를 사용한다.

리포트에는 Kimi Code, Claude Code, Codex, OpenClaw, Hermes 같은 harness를 구성할 수 있다고 나온다. 특정 prompt나 tool schema에만 잘 맞는 agent가 아니라, 다양한 실행 환경에서 일반화되는 agent를 만들겠다는 의도다.

이건 agent 연구에서 꽤 중요한 방향이다. 앞으로의 모델은 단순히 텍스트 답변을 잘하는 것보다, 여러 runtime과 tool protocol 안에서 일관되게 작동해야 한다.

Kimi K3는 특히 다음 환경들을 구성한다.

verifiable search와 professional knowledge work
software engineering과 kernel optimization
vision-in-the-loop multimodal reasoning
persistent personal assistant workflow
web development task
autonomous execution task

여기서 중요한 건 평가가 self-report가 아니라는 점이다. Autonomous Execution Tasks에서는 objective, context, constraints, verifier interface만 주고, agent가 스스로 decomposition, tool selection, planning, recovery, termination을 수행한다. 최종 평가는 agent가 “완료했습니다”라고 말했는지가 아니라, verifier가 final environment state를 평가하는 방식이다.

이건 실제 agent 운영에서도 핵심이다. agent는 완료를 선언하는 능력이 아니라, 완료 상태를 만들고 검증받는 능력이 필요하다.

Infrastructure: 사실상 리포트의 절반은 시스템 이야기다

Kimi K3 리포트에서 가장 실무적인 부분은 infrastructure다. 2.8T MoE, 1M context, long-horizon RL은 모델 아이디어만으로는 안 된다. 학습과 serving system이 같이 바뀌어야 한다.

MoonEP: MoE load balance

MoE training에서는 expert별 token load가 불균형해지기 쉽다. 어떤 rank는 과부하가 걸리고, 어떤 rank는 놀게 된다. Kimi K3는 이를 위해 MoonEP라는 expert-parallel scheme을 제안한다.

핵심은 모든 rank가 정확히 같은 token load를 받도록 redundant expert를 동적으로 계획하는 것이다. 리포트는 이를 통해 static shape execution, zero-copy communication, host synchronization 감소를 얻는다고 설명한다.

MoE를 크게 만들수록 이 문제는 더 커진다. 모델 구조에서 Quantile Balancing을 넣고, training system에서 MoonEP를 넣는 것은 같은 문제를 다른 layer에서 동시에 푸는 방식이다.

Long-context RL을 위한 external KV cache

1M context agentic RL에서는 prefix KV-cache miss가 매우 비싸다. partial rollout으로 긴 trajectory가 여러 iteration에 걸쳐 이어질 때, 매번 긴 prefix를 다시 prefill하면 비용이 터진다.

Kimi K3는 reusable idle prefix를 CPU DRAM의 external KV cache pool로 write-back하고, 필요할 때 prefetch한다. active decoding block은 GPU에 남기고, 당장 쓰지 않지만 재사용 가능성이 높은 prefix만 외부 pool로 내리는 방식이다.

이건 production agent에서도 그대로 중요한 패턴이다. 장기 coding session이나 research session에서 이전 prefix를 얼마나 잘 재사용하느냐가 비용과 latency를 결정한다.

AgentENV: microVM 기반 sandbox

Kimi K3는 agentic RL을 위해 AgentENV라는 microVM 기반 sandbox runtime을 사용한다. container보다 더 강한 isolation과 높은 fidelity를 제공하기 위해 Firecracker 기반 microVM을 사용한다.

리포트에 나온 수치도 꽤 인상적이다.

checkpoint latency: 133ms 수준
resume latency: 49ms 수준
memory overcommit ratio: 최대 6.5배
전체 학습과 평가 중 생성된 sandbox: 51,219,741개
사용된 image 수: 1,505,678개

agentic RL에서 sandbox는 단순 실행 환경이 아니다. 긴 trajectory를 pause, resume, fork, snapshot할 수 있어야 한다. 특히 모델 inference를 기다리는 동안 sandbox가 놀고 있는 시간이 길기 때문에, pause/resume 효율이 전체 학습 비용에 직접 영향을 준다.

Serving: prefix cache와 budget-based admission control

Kimi K3 serving에서는 request 비용 차이가 세 자릿수까지 벌어진다. 짧은 요청은 2K token 이하일 수 있고, 긴 요청은 1M token까지 간다. 이런 상황에서 단순 request count 기반 rate limit은 의미가 약하다.

리포트는 두 가지 fleet-level scheduling을 제안한다.

cache-aware affinity scheduling: session을 prefix cache가 있는 cluster로 보낸다.
budget-based admission control: 긴 요청이 전체 SLO를 망치지 않도록 request class별 resource budget을 둔다.

특히 1M context coding request에서는 기존 prefix가 400K token이고 새 prefill increment가 4K token인 경우가 있을 수 있다. 이때 cache hit은 전체 비용을 orders of magnitude 줄인다. agent serving에서 cache는 optimization이 아니라 product reliability 기능에 가깝다.

벤치마크 결과: 오픈 모델 중 frontier, proprietary 최상위와는 일부 격차

리포트의 benchmark suite는 reasoning, coding, agentic, vision으로 나뉜다.

Reasoning과 knowledge

Kimi K3는 GPQA Diamond에서 93.5%를 기록한다. frontier 수준에 가까운 점수다. 다만 HLE-Full에서는 43.5 / 56.0, CritPt에서는 23.4로, Claude Fable 5와 GPT-5.6 Sol 대비 격차가 남는다고 리포트가 직접 설명한다.

즉 일반적인 graduate-level reasoning에서는 강하지만, research-level reasoning에서는 아직 최상위 proprietary 모델이 앞서는 영역이 있다.

Coding

coding 결과는 꽤 강하다.

Benchmark	Kimi K3
DeepSWE	67.5
ProgramBench	77.8
Terminal-Bench 2.1	88.3
FrontierSWE	81.2
SWE-Marathon	42.0
SciCode	58.7

특히 SWE-Marathon에서는 42.0으로 Claude Fable 5보다 7점 앞선 결과를 제시한다. GPU kernel-oriented suite에서 강하다는 점은 Kimi K3가 low-level optimization과 long-horizon coding agent에 초점을 맞췄다는 인상을 준다.

Agentic

Kimi K3가 가장 강하게 주장하는 영역은 agentic task다.

BrowseComp: 91.2
DeepSearchQA: 95.0 F1
ResearchRubrics: 76.2
MCPMark-Verified: 94.5
AutomationBench: 30.8
SpreadsheetBench 2: 34.8
Harvey Lab-AA: 94.6

다만 GDPval-AA v2, AA-Briefcase 같은 Elo-rated knowledge-work suite에서는 Claude Fable 5가 앞선다. 리포트는 Kimi K3가 전반적으로 Claude Opus 4.8, GPT-5.5, GLM-5.2보다 앞서지만, 최상위 proprietary 모델에는 일부 뒤진다고 정리한다.

Vision

vision에서도 강한 결과를 보인다.

OmniDocBench: 91.1
Video-MME: 90.0
Math-Vision: 94.3, Python tool 사용 시 97.8
ZeroBench-main pass@5: 23.0, Python tool 사용 시 41.0

Python tool을 붙였을 때 점수가 크게 오르는 부분이 중요하다. Kimi K3의 vision 능력은 이미지를 한 번 보고 답하는 VQA보다, crop, zoom, transform, calculation을 반복하는 agentic visual reasoning에 더 가깝다.

Cost efficiency: Kimi K3가 진짜 밀고 싶은 카드

Kimi K3 리포트는 성능만큼 비용 효율을 강조한다.

리포트 기준으로 Kimi Code Bench 2.0에서 Kimi K3는 Claude Fable 5보다 4점 낮지만 비용은 38% 수준이다. BrowseComp에서는 91.2%를 task당 2.03달러에 달성해, GPT-5.6 Sol보다 절반 비용이고 Claude 모델 max effort 대비 훨씬 저렴하다고 설명한다.

GDPval-AA v2에서는 GPT-5.6 Sol과 50 Elo 이내이면서 비용은 13% 낮고, Claude Fable 5보다 2.6배 저렴하다고 한다. AA-Briefcase에서는 Claude Fable 5 다음의 점수를 내면서 비용은 약 절반 수준이라고 정리한다.

이 부분은 오픈 모델 관점에서 매우 중요하다. 실제 agent workflow는 한 번 호출하고 끝나지 않는다. 검색, 코드 실행, 재시도, 검증, 렌더링, 디버깅을 반복한다. 그래서 모델 단가와 prefix cache hit rate, reasoning effort control이 제품성에 직접 연결된다.

Case study: Kimi K3가 지향하는 agent의 모습

리포트 후반부의 case study는 Kimi K3가 “채팅 모델”이 아니라 autonomous engineering agent를 지향한다는 것을 보여준다.

GPU kernel optimization 사례에서 Kimi K3는 AttnRes latency를 283.6ms에서 114.4ms로 줄이고, DSA와 KDA runtime을 각각 55.1%, 73.6% 줄였다고 한다. MiniTriton 사례에서는 Python frontend, layout system, MLIR annotation, PTX codegen, CUDA runtime, autograd, NCCL distributed primitive까지 갖춘 Triton-like compiler를 개발한 것으로 설명한다.

Chip design 사례도 있다. Kimi K3는 48시간 autonomous run으로 nano model용 inference-chip prototype을 만들고, 4mm² analytical area budget 안에서 100MHz timing closure와 8,700 tokens/s 이상의 RTL-simulated decode throughput을 달성했다고 리포트는 말한다.

이 사례들은 과장된 데모처럼 읽힐 수도 있지만, 방향성은 분명하다. Kimi K3가 겨냥하는 사용처는 “질문 답변”이 아니라 장시간 기술 작업의 계획, 실행, 검증, 수정이다.

조심해서 읽어야 할 부분

리포트가 강한 주장들을 담고 있는 만큼, 몇 가지는 분리해서 봐야 한다.

첫째, 최상위 proprietary 모델과의 격차는 남아 있다. 리포트 자체도 Claude Fable 5와 GPT-5.6 Sol이 전체적으로 더 강한 영역이 있다고 인정한다. 특히 research-level reasoning, 일부 agent behavior, computer-use benchmark에서는 gap이 보인다.

둘째, 내부 benchmark의 비중이 있다. Kimi Webdev Bench, Kimi Code Bench, Swarm Bench, Deep Research Bench 등은 제품 개발에는 중요하지만 외부에서 완전히 재현하기 어렵다. 결과를 볼 때 public benchmark와 in-house benchmark를 구분해야 한다.

셋째, agentic benchmark는 harness 영향을 크게 받는다. 같은 모델도 Kimi Code, Claude Code, Codex, OpenClaw 같은 실행 환경에 따라 결과가 달라질 수 있다. 따라서 특정 점수를 모델 자체의 순수 능력으로만 해석하면 위험하다.

넷째, cyber capability는 양면적이다. 리포트는 vulnerability discovery와 exploit development 평가도 포함한다. Tier 1에서는 human review를 거친 findings 중 약 70%가 genuine이었고, 16개의 previously unknown vulnerabilities를 찾았다고 한다. Tier 2 exploit suite에서는 36개 중 14개를 해결했다. defensive security에는 유용하지만 misuse risk도 같이 커진다는 뜻이다.

실무적으로 가져갈 점

내가 이 리포트에서 가져갈 실무적 시사점은 세 가지다.

1. 오픈 모델 경쟁은 weight 공개를 넘어 system 공개로 간다

Kimi K3는 단순히 큰 모델 weight를 공개했다는 점만 중요한 게 아니다. 1M context, MoE training, agentic RL, sandbox, prefix cache, fleet scheduling까지 같이 다룬다.

앞으로 오픈 모델의 경쟁력은 checkpoint 하나가 아니라, 그 모델을 긴 작업에 안정적으로 쓰게 만드는 runtime과 infra pattern에서 나올 가능성이 크다.

2. 1M context는 모델 기능이 아니라 운영 기능이다

1M context를 실제 제품에서 쓰려면 다음이 모두 필요하다.

long-context data curriculum
positional extrapolation 또는 NoPE 전략
attention/state cache 설계
prefix cache
external KV cache
context parallelism
budget-aware scheduling
long trajectory RL infrastructure

즉 context window 숫자는 시작일 뿐이다. 진짜 문제는 “그 긴 context를 언제 넣고, 언제 재사용하고, 언제 버리고, 얼마의 비용으로 처리할 것인가”다.

3. Agent 모델은 harness 다양성에서 일반화되어야 한다

Kimi K3의 white-box RL environment는 agent harness를 구성 가능한 모듈로 본다. tool interface, system prompt, context management, memory, skill, subagent가 모두 agent 행동을 바꾼다.

이 관점은 실무에서도 중요하다. 특정 prompt와 tool schema에서만 잘하는 agent는 production에서 쉽게 깨진다. 여러 harness와 context policy를 견디는 모델이 더 중요해진다.

정리

Kimi K3 Technical Report는 “오픈 모델이 GPT급 점수를 따라잡았다” 같은 단순한 이야기가 아니다. 더 큰 메시지는 이것이다.

frontier agent는 모델 하나가 아니라, model architecture, data curriculum, RL environment, sandbox runtime, cache system, serving scheduler가 결합된 전체 시스템이다.

Kimi K3는 그 시스템을 오픈 모델 쪽에서 구현하려는 매우 공격적인 시도다. 아직 최상위 proprietary 모델을 모든 영역에서 넘었다고 보긴 어렵지만, 오픈 모델이 장기 agent workflow와 비용 효율의 축에서 얼마나 빠르게 올라오고 있는지는 분명히 보여준다.

개인적으로 이 리포트에서 가장 인상적인 부분은 benchmark score보다 infrastructure였다. KDA-aware prefix cache, AgentENV, MoonEP, budget-based admission control 같은 요소들은 앞으로 agent product를 만드는 팀이라면 모델 종류와 관계없이 고민하게 될 문제다.

결국 질문은 “이 모델이 얼마나 똑똑한가”에서 끝나지 않는다.

긴 시간, 많은 도구, 복잡한 상태, 제한된 비용 안에서 얼마나 안정적으로 일하게 만들 수 있는가?

Kimi K3는 그 질문에 대한 오픈 모델 진영의 꽤 강한 답변이다.