Google DeepMind podzielił się nowym podejściem do generowania tekstu. DiffusionGemma to eksperymentalny model z architekturą Mixture of Experts (MoE) opierający się na 26 miliardach parametrów, który zamiast tradycyjnego autoregresyjnego podejścia wykorzystuje mechanizm text diffusion. Dzięki temu może pracować znacznie szybciej — do 4 razy wydajniej na GPU.
Tradycyjne duże modele językowe generują tekst token po tokenie, co jest procesem sekwencyjnym i wolnym. DiffusionGemma zmienia tę logikę, używając dyfuzji — tej samej techniki, którą znamy z generowania obrazów. Model stopniowo ulepszza całą sekwencję tekstu jednocześnie zamiast czekać na każdy token. To otwiera nowe możliwości optymalizacji i przyspiesza praktyczne zastosowania AI.
Udostępnienie tego modelu jako open source to ważny krok dla badaczy i deweloperów. Może to inspirować nową generację optymalizacji w generowaniu tekstu i prowadzić do bardziej efektywnych rozwiązań w produkcji. Choć to wciąż eksperyment, результaty wskazują, że alternatywy dla autoregresji warte są głębszego zbadania.