Problem, który nurtuje wielu badaczy zajmujących się dużymi modelami AI, to niechęć tych systemów do zapominania. Kiedy dostosowujemy foundation modele do konkretnych zadań poprzez fine-tuning, doskonalimy je wprawdzie w nowych umiejętnościach, ale ryzykujemy stracić wiedze zdobytą podczas wstępnego treningu. Naukowcy opracowali FoLoRA – metodę, która zmienia to równanie. Zamiast wybierać między dobrej adaptacją a zachowaniem starych umiejętności, FoLoRA stara się znaleźć złoty środek, monitorując oba procesy równocześnie podczas treningu.
Kluczem do podejścia FoLoRA jest elegancki matematyczny trick oparty na ilorazie Rayleigha. Podczas dostosowywania modelu metoda oblicza zarówno użyteczność dla nowego zadania, jak i karę za "zapominanie" – mierzoną na podstawie aktywacji w sieciach neuronowych. Pozwala to na dynamiczną regulację każdego kierunku aktualizacji wag: kierunki, które pomagają w nowym zadaniu bez szkody dla starych umiejętności, są wzmacniane, a te problematyczne – osłabiane. Dodatkowo naukowcy rozwiązali praktyczny problem: zamiast polegać na jednym zbiorze danych proxy do oceny zapominania, generują wiele zestawów poprzez próbkowanie z wstępnie wytrenowanego modelu, co daje bogatszą ocenę tego, co warto zachować.
Wyniki eksperymentów na adaptacji do matematyki, kodu i instrukcji pokazują, że FoLoRA osiąga lepszą równowagę niż dotychczasowe rozwiązania. Modele dostosowane tą metodą wykazują zarówno wyższą wydajność na docelowych zadaniach, jak i lepsze zachowanie oryginalnych zdolności. To ma praktyczne znaczenie: oznacza, że można specjalizować modele bez obawy, że staną się bezużyteczne do innych celów. W świecie, gdzie foundation modele stały się uniwersalnymi narzędziami, takie rozwiązania mogą zmienić sposób, w jaki dostosowujemy AI do branżowych potrzeb.