Naukowcy zaproponowali nową architekturę transformera opartą na teorii kategorii, która wprowadza specjalne indukcyjne uprzedzenia dla modelowania języka. Podejście to ma na celu poprawę efektywności modelowania poprzez zastosowanie matematycznych struktur kategorii do reprezentacji zależności w tekście. Badanie łączy zaawansowaną matematykę z deep learningiem, co potencjalnie może prowadzić do bardziej wydajnych i interpretowanych modeli języka.