Problem, który naukowcy zidentyfikowali, polega na tym, że edycja wiedzy w multimodalnych modelach językowych działa poprawnie gdy model otrzymuje pary tekst-obraz, ale ulega awarii gdy te same dane rozdziela się na oddzielne inputy unimodalne. Na przykład model może "wiedzieć" o nowym fakcie na podstawie pytania tekstowego połączonego z obrazem, ale zapomina tego faktu, gdy pyta się go w oparciu o samo pytanie tekstowe lub samą ilustrację.
Przyczyna leży w architekturze MLLMs. Badania empiryczne wykazały, że wiedza o konkretnych encjach nie jest przechowywana w jednym, scentralizowanym miejscu w sieci neuronowej. Zamiast tego rozprowadzona jest po różnych, niezależnych ścieżkach neuronowych dedykowanych poszczególnym modalnościom. Gdy edycja wiedzy skupia się na multimodalnych zapytaniach, aktualizacje mogą nie dotrzeć do obwodów odpowiadających za przetwarzanie samego tekstu lub samego obrazu.
Proponowana metoda DECODE rozwiązuje ten problem poprzez precyzyjne rozdzielenie i zlokalizowanie grup neuronów odpowiadających za konkretne modalności. Eksperymentalnie potwierdzono, że podejście to umożliwia skuteczne aktualizacje wiedzy w oparciu o różne rodzaje danych wejściowych. To ma znaczenie praktyczne: edytowane modele stają się bardziej niezawodne i konsystentne niezależnie od tego, czy są zasilane tekstem, obrazem czy ich kombinacją. Odkrycie otwiera nowe perspektywy dla bezpieczniejszej edycji wiedzy w coraz bardziej zaawansowanych systemach AI.