Kunstmatige intelligentie wordt overal blijmoedig gebruikt, maar er zitten een hoop soms gevaarlijke en kwalijke haken en ogen aan die technologie. Zo verbruikt ki een immense hoeveelheid energie om zich zaken eigen te maken en is meestal volstrekt duister hoe een ki-systeem tot een bepaalde conclusie is gekomen. Nu stellen een aantal onderzoeksinstituten in Duitsland een manier ontwikkeld te hebben om te kunnen begrijpen hoe een ki-systeem tot een conclusie is gekomen.
De wegen van ki-systemen zijn veelal duister en daar denken de onderzoekers iets op gevonden te hebben: de conceptrelevantievoortgang (CRP in angelsaksische afko). CRP zou niet alleen de factoren aangeven die belangrijk zijn geweest voor een bepaalde conclusie van een ki-systeem, maar ook weergeven hoe de gehanteerde concepten worden voorgesteld en welke delen van het neurale netwerk daarvoor verantwoordelijk zijn geweest.
Door dit CRP-systeem zouden hele nieuwe normen worden gesteld voor het beoordelen van en de interactie met ki-systemen, stellen de onderzoekers. Dit lijkt me (=as) eerlijk gezegd het paard achter de wagen spannen, want waarom zou je ki-systemen niet inherent ’transparant’ maken in hun gang door de argumentatie?

Maar goed, iets is beter dan niets. Met CRP zou het hele beslissingsproces voor een mens navolgbaar zijn geworden van gebruikte gegevens tot resultaat. De afgelopen jaren zouden de onderzoekers al diverse systemen op potmn hebben gezet om die redeneergang te kunnen volgen, zoals laagsgewijze relevantievoortgang (LRP), maar kennelijk voldeden die niet. CRP is een verbetering/uitbreiding van, onder meer, LRP.

Beeldherkenning

“Beeldherkenning door ki is een goed voorbeeld (van die verbetering, neem ik aan; as)”, zegt Wojciech Samek van het Fraunhoferinstituut HMI en hoogleraar van de TU Berlijn. “Bij de invoer geeft CRP aan welke beeldpunten voor het systeem belangrijk zijn. Dat is een belangrijke stap om de conclusies te kunnen volgen, maar verklaart niet welk concept daarachter zit, waarom juist die beeldpunten belangrijk zijn.”
“CRP brengt de uitleg over van de invoerruimte, waar het beeld met al zijn pixels zich bevindt, naar de betekenisvolle conceptruimte, gevormd door hogere lagen van het neurale netwerk”, legt medeonderzoeker Sebastian Lapuschkin ietwat kryptisch uit. “CRP is de volgende fase in de navolgbaarheid van ki en geeft nieuwe mogelijkheden voor onderzoek, beoordeling en verbetering van ki-modellen.” Hij zegt dat hij het model graag op ChatGPT zou willen uitproberen. Ga je gang, zou ik(=as) zeggen, maar begin bij het begin: maak ki-systemen die inherent navolgbaar zijn.

Bron: idw-online.de