Badacze opracowali nową metodę fine-tuning'u, która zachowuje rotacje w reprezentacjach modeli podczas treningu nadzorowanego. Podejście to zmniejsza zaburzenia istniejących wag modelu i poprawia transfer knowledge między zadaniami. Metoda ma potencjał do zwiększenia efektywności adaptacji dużych modeli językowych do nowych zastosowań bez ryzyka katastrofalnego zapominania wcześniej zdobytej wiedzy.