#inference

3 posts tagged

Guide08.042026-08-04 09:0011 min read

PyTorch profiling: nn.Linear에서 fused MLP까지 병목 읽기

PyTorch profiler trace로 nn.Linear와 MLP 병목을 읽고 fusion 최적화를 판단하는 실무 기준을 정리한다.

Paper Review07.282026-07-28 09:0035 min read

Kimi K3 technical report를 모델 아키텍처, 1M context, agentic RL, serving infrastructure 관점에서 정리한다. 핵심은 단순 오픈 LLM이 아니라 3T급 agent system stack이다.

Concept07.162026-07-16 09:0016 min read

GLM-5.2 753B 모델을 대상으로 한 lossless weight compression 실험을 바탕으로, AI 모델의 가중치를 왜 줄일 수 있고 무엇을 아직 조심해서 봐야 하는지 쉽게 설명한다.