Zespół badawczy z arXiv opracował nowe podejście do wykrywania umiejętności miękkich w CV specjalistów ML Engineering za pomocą pipeline'u opartego na dużych modelach językowych. W przeciwieństwie do dotychczasowych narzędzi, które poszukują tylko konkretnych słów kluczowych, nowa metoda potrafi rozpoznawać kompetencje opisane narracyjnie w tekście CV - czyli umiejętności, które kandydaci artykułują poprzez historie i opisy doświadczeń.
Badanie opierało się na zbilansowanej kolekcji 300 CV obejmujących trzy role: ML engineers, data scientists i software engineers. Naukowcy zwalidowali swoją metodę porównując wyniki automatyczne z anotacją człowieka, a następnie postawili 13 falsyfikowalnych hipotez dotyczących sygnatury ról, progresji doświadczenia i stylów ujawniania umiejętności. Wyniki pokazały, że kandydaci ujawniają umiejętności miękkie poprzez narrację w stosunku 3:1 w porównaniu z listami słów kluczowych, szczególnie gdy chodzi o najbardziej cenione kompetencje takie jak przywództwo i koordynacja.
To badanie zamyka ważną lukę w wiedzy o umiejętnościach miękkich w branży ML. Dotychczasowe dane pochodziły prawie wyłącznie ze strony pracodawców - oferty pracy, ankiety, wywiady z kierownikami HR. Perspektywa kandydatów była nieznana. Badanie potwierdziło 11 z 13 hipotez, jedną częściowo, i tylko jedną odrzuciło, co oznacza że żądania pracodawców znacznie odzwierciedlają rzeczywistość jak kandydaci się opisują.