Naukowcy odkryli, że modele fundamentacyjne mogą przypadkowo wyciekać informacje z publicznych benchmarków numerycznych używanych do ich treningu. Zjawisko NumLeak pozwala na rekonstrukcję danych testowych poprzez analizę odpowiedzi modelu na pytania zawierające liczby z benchmarków. Odkrycie ma istotne implikacje dla bezpieczeństwa i prywatności danych treningowych, a także dla wiarygodności oceny wydajności modeli, które mogły zapamiętać fragmenty zestawów testowych.
Badania
arXiv CS.LG