Badacze zaproponowali nową technikę Sparse Prefix Caching, która optymalizuje przechowywanie i wykorzystanie pamięci podręcznej dla dużych modeli językowych pracujących w architekturze hybrydowej i rekurencyjnej. Metoda zmniejsza zużycie pamięci GPU i przyspiesza obsługę wielu zapytań jednocześnie, unikając redundantnych obliczeń dla powtarzających się fragmentów kontekstu. To rozwiązanie ma znaczenie praktyczne dla wdrażania efektywnych systemów generowania tekstu w skali produkcyjnej.