Paper Review07.282026-07-28 09:0035 min read[논문 리뷰] Kimi K3 — 오픈 모델도 3T급 에이전트 시스템을 겨냥한다Kimi K3 technical report를 모델 아키텍처, 1M context, agentic RL, serving infrastructure 관점에서 정리한다. 핵심은 단순 오픈 LLM이 아니라 3T급 agent system stack이다.#Kimi#MoE#long-context+3
Concept08.152024-08-15 09:0010 min read[NLP] Feed-Forward Network — Transformer의 숨은 표현력 (FFN, GELU, SwiGLU, MoE)Attention이 토큰끼리 섞는 일을 한다면, FFN은 각 토큰을 변환하는 역할을 한다. 단순한 2층 MLP이지만 모델 전체 파라미터의 약 2/3를 차지하는 이 컴포넌트의 구조, 활성 함수 변천(ReLU → GELU → SwiGLU), key-value memory 해석, MoE까지 정리한다.#transformer#FFN#feed-forward+4
