Zespół badawczy przedstawił CurveFP, innowacyjny format danych do kompresji modeli językowych, który redukuje liczbę bitów potrzebnych do reprezentacji parametrów bez utraty jakości. W przeciwieństwie do istniejących formatów niskiej precyzji jak FP8, które optymalizują dokładność poszczególnych liczb ale ignorują błędy wynikające z mnożenia, CurveFP skupia się na całej operacji arytmetycznej.
Format wykorzystuje rodzinę "codebooków ze zamkniętymi produktami", gdzie magnitudy rozdzielane są na przeplatane krzywe logarytmiczne pod kompaktowymi skalami blokkowymi. Kluczowa innowacja to wymierny pierwiastek, który dopasowuje zakres dynamiki do lokalnej rozdzielczości, oraz równomierne indeksy krzywych zapewniające algebraicznie zamknięte produkty. Mnożenie redukuje się do operacji XOR znaków i aktualizacji indeksu całkowitoliczbowego - znacznie prostszych obliczeniowo niż tradycyjne mnożenie zmiennoprzecinkowe.
Ewaluacja wykazała konkretne korzyści: CurveFP siedem (wersja do wdrażania) pokonał tensor-wise FP8 w perplexity na czterech modelach 7B-9B używając jednego bitu mniej, tracąc poniżej 1,32 procent jakości względem precyzji pełnej. CurveFP osiem (do trenowania) wykazał niższy NMSE we wszystkich 36 porównaniach forward i backward GEMM. W pretrainingowej ocenie na 128,3M-parametrowych modelach CurveFP osiem osiągnął perplexity 22,5366 wobec 22,5407 dla FP8, z konsekwentnie niższą karą indukowaną przez format. Na downstream taskami osiągnięto również konsekwentnie lepsze wyniki na WikiText-103.