#fast weights

[AI Search] Language Models Need Sleep: 긴 컨텍스트를 잠자는 동안 압축하는 법

Language Models Need Sleep 논문을 AI Search stack 관점에서 읽는다. 긴 컨텍스트를 매번 attention cache에 들고 가는 대신, eviction 직전에 여러 번의 offline recurrent pass로 SSM fast weights에 통합하는 sleep 메커니즘이 왜 long-context reasoning과 retrieval-augmented agent runtime에 중요한지 정리한다.