Badacze z Cornell University i Meta prezentują RaMP, nową metodę optymalizacji dla modeli Mixture-of-Experts (MoE), które dynamicznie kierują dane do różnych wyspecjalizowanych sieci neuronowych. Technologia używa megakerneli z polimorfizmem zależnym od czasu wykonania, aby automatycznie wybierać najlepsze implementacje kerneli w oparciu o rzeczywiste warunki sprzętowe. Rozwiązanie zmniejsza latencję i zwiększa przepustowość przetwarzania MoE, co jest kluczowe dla efektywnego skalowania dużych modeli. Wyniki mogą znacznie poprawić wydajność systemów AI w produkcji, szczególnie dla modeli takic