#long-context

5 posts tagged

Paper Review07.282026-07-28 09:0035 min read

[논문 리뷰] Kimi K3 — 오픈 모델도 3T급 에이전트 시스템을 겨냥한다

Kimi K3 technical report를 모델 아키텍처, 1M context, agentic RL, serving infrastructure 관점에서 정리한다. 핵심은 단순 오픈 LLM이 아니라 3T급 agent system stack이다.

#Kimi #MoE #long-context+3

Paper Review07.082026-07-08 09:0021 min read

[AI Search] Language Models Need Sleep: 긴 컨텍스트를 잠자는 동안 압축하는 법

Language Models Need Sleep 논문을 AI Search stack 관점에서 읽는다. 긴 컨텍스트를 매번 attention cache에 들고 가는 대신, eviction 직전에 여러 번의 offline recurrent pass로 SSM fast weights에 통합하는 sleep 메커니즘이 왜 long-context reasoning과 retrieval-augmented agent runtime에 중요한지 정리한다.

#AI Search #long-context #SSM+4

Paper Review07.072026-07-07 09:0024 min read

[AI Search] Gemma 4: Open-weight Multimodal Model을 Search Stack에서 읽기

Gemma 4 Technical Report를 AI Search stack 관점에서 읽는다. open-weight multimodal model family가 dense/MoE, encoder-free 12B, thinking mode, long-context KV cache 최적화, quantization, MTP drafter를 통해 검색·에이전트 시스템의 실행 위치와 비용 구조를 어떻게 바꾸는지 정리한다.

#AI Search #Gemma 4 #open-weight+4

Paper Review07.062026-07-06 09:0024 min read

[AI Search] LDAR: Long Context와 RAG 사이에서 Distractor를 피하는 검색

LDAR 논문을 AI Search stack 관점에서 읽는다. Long-context LLM에 모든 문서를 넣는 방식과 top-k RAG 사이에서, LLM이 distractor에 흔들리지 않도록 similarity distribution만 보고 검색 범위를 학습하는 방법을 정리한다.

#AI Search #LDAR #RAG+3

Paper Review06.242026-06-24 09:0022 min read

[논문 리뷰] Do Language Models Need Sleep? — 긴 컨텍스트를 잠자는 동안 정리하는 법

LLM이 긴 컨텍스트를 계속 들고 있는 대신, 오프라인 recurrent pass로 fast weights에 기억을 정리하면 온라인 추론 지연을 늘리지 않고 깊은 reasoning 성능을 높일 수 있다는 논문을 정리한다.

#language-model #long-context #ssm+2