Nowa publikacja prof. Edwarda Szczerbickiego o rozumowaniu przyczynowym w dużych modelach językowych

Autorami artykułu „Structure-Aware Causal Reasoning: A Neurosymbolic Framework for Counterfactual Inference in Large Language Models” są prof. Edward Szczerbicki z Wydziału Zarządzania i Ekonomii oraz Maiqi Wang i Haoxi Zhang z Chengdu University of Information Technology w Chinach.

Wnioskowanie kontrfaktyczne polega na analizowaniu alternatywnych scenariuszy wobec zdarzeń, które już miały miejsce – innymi słowy, na odpowiadaniu na pytania typu „co by było, gdyby?”. To jedna z istotnych zdolności ludzkiego rozumowania, ważna m.in. w analizie zależności przyczynowo-skutkowych i podejmowaniu decyzji.

Duże modele językowe bardzo dobrze radzą sobie z przetwarzaniem języka i rozpoznawaniem zależności semantycznych, jednak wnioskowanie kontrfaktyczne nadal stanowi dla nich wyzwanie. Problem pojawia się szczególnie w złożonych strukturach, w których występuje wiele powiązanych ze sobą ścieżek przyczynowych.

– Krytyczne niedopasowanie w obecnych podejściach polega na tym, że modele standardowe przetwarzają grafy przyczynowe jako spłaszczony kontekst tekstowy, nie rozróżniając prawidłowych mechanizmów przyczynowych od fałszywych korelacji w obecności koliderów i wielościeżkowych zależności. Powoduje to częste halucynacje przy odpowiedziach na pytania „co by było, gdyby?” – wyjaśnia prof. Edward Szczerbicki.

SACR porządkuje zależności przyczynowe

Odpowiedzią zespołu na ten problem jest SACR (Structure-Aware Causal Reasoning) – neurosymboliczny framework łączący możliwości dużych modeli językowych z formalnymi metodami analizy struktur przyczynowo-skutkowych.

W przeciwieństwie do podejść opartych przede wszystkim na odpowiednim formułowaniu promptów, SACR wykorzystuje m.in. teorię d-separacji i ekstrakcję granic Markowa. Pozwala to wyodrębnić z grafu te zależności, które są rzeczywiście istotne dla danego problemu, i ograniczyć wpływ przypadkowych lub pozornych korelacji na proces wnioskowania.

– Proponujemy i rygorystycznie weryfikujemy neurosymboliczny framework SACR, który integruje logikę d-separacji i rozszerzenie granic Markowa w interpretacji grafów przyczynowo-skutkowych modelujących rozumowanie oparte na LLM. SACR znacząco przewyższa najnowocześniejsze modele w złożonych scenariuszach logicznych, osiągając wyższą dokładność w ustawieniach wielościeżkowych, a więc także w scenariuszach typu „co by było, gdyby” – mówi prof. Szczerbicki.

W przeprowadzonych eksperymentach SACR uzyskał w złożonych scenariuszach wielościeżkowych wyniki o 22 proc. lepsze od GPT-4, zachowując jednocześnie konkurencyjną dokładność w benchmarkach dotyczących przyczynowego wnioskowania kontrfaktycznego.

Kolejny krok: większy realizm modeli

Autorzy zaznaczają, że opracowane rozwiązanie nadal ma ograniczenia. Niektóre jego elementy bazują na strategiach heurystycznych, a wykorzystywane w badaniach grafy nie zawsze w pełni odzwierciedlają złożoność rzeczywistych systemów, w których zależności mogą mieć charakter czasowy, cykliczny i wielopoziomowy.

– Nasze przyszłe badania będą dotyczyć m.in. modeli trafności ścieżek opartych na metrykach informacyjnych oraz interpretacji koliderów opartych na klasyfikatorach, co powinno poprawić precyzję i zdolność adaptacji systemu – zapowiada prof. Szczerbicki. – Planujemy także zwiększyć realizm grafów, poszerzyć zakres domen oraz wprowadzić bardziej zróżnicowane zapytania kontrfaktyczne, aby jeszcze dokładniej oceniać zdolności wnioskowania przyczynowego.

Badania wpisują się w rozwój metod, które mają pozwolić systemom sztucznej inteligencji nie tylko rozpoznawać wzorce w danych, ale również lepiej rozumieć zależności przyczynowe i wykorzystywać je w procesie wnioskowania.

„International Journal of Approximate Reasoning” jest recenzowanym czasopismem naukowym poświęconym m.in. sztucznej inteligencji, metodom wnioskowania oraz zagadnieniom związanym z niepewnością i niedokładnością danych. Publikacje w tym tytule są wysoko punktowane w ministerialnym wykazie czasopism naukowych.

Artykuł „Structure-Aware Causal Reasoning: A Neurosymbolic Framework for Counterfactual Inference in Large Language Models” jest dostępny online.

Przeczytaj artykuł