Potřebují jazykové modely spát?
Nový preprint z CMU a UMD měří jednu věc odděleně: u hlubokého reasoningu nelimituje modely kapacita paměti, ale počet průchodů kontextem. ‚Spánek' je offline rekurentní fáze při evikci okna, ne vlastnost dnešních chatbotů.
Jakub KontraDeveloper