#language-model

[논문 리뷰] Do Language Models Need Sleep? — 긴 컨텍스트를 잠자는 동안 정리하는 법

LLM이 긴 컨텍스트를 계속 들고 있는 대신, 오프라인 recurrent pass로 fast weights에 기억을 정리하면 온라인 추론 지연을 늘리지 않고 깊은 reasoning 성능을 높일 수 있다는 논문을 정리한다.