Dit plaatje zou het idee van de begrijpbare ki moeten uitleggen (afb: Dahee Kwon et al./KAIST)

Het heeft er alle schijn van dat wij mensen ons steeds meer verlaten op kunstmatige intelligentie. Hoe ki-systemen tot hun conclusie komen is in vrijwel al die systemen volkomen duister: een zwarte doos dus. Als wij mensen nog enige ratio bezitten dan zou dat toch duidelijk moeten zijn. Welke waarde kun je hechten aan de ‘uitspraken’ van een zwarte doos. In Zuid-Korea  bij KAIST onderzoekersters een idee uitgewerkt voor beeldherkenning (GCC), maar wordt het niet eens tijd dat die beslislijnen in algoritmes ‘openbaar’ worden? Daarbij is een groot obstakel dat ki nu nog steeds het ‘slagveld’ is van grote techbedrijven.
Hoewel de technologie voor beeldherkenning op basis van lerende systemen zich snel ontwikkelt, blijft het lastig om de criteria die ki- gebruiken om beelden waar te nemen en in te delen duidelijk te maken. Met name technologieën die analyseren hoe grootschalige modellen verschillende concepten (bijvoorbeeld kattenoren, autowielen) combineren om tot een conclusie te komen, worden al lang erkend als een grote bak blubber.
Daar willen Jaesik Choi van KAIST en promovendi Dahee Kwon en Sehyun Lee wat aandoen door het ontwikkelen van uitlegbare ki dat zou laten zien hoe zo’n systeem tot zijn resultaten komt. Volgens de onderzoekersters zou dat een belangrijke stap zijn in de richting van begrijpbare ki.
In in lerende ki-modellen bevinden zich basale rekeneenheden, neuronen genaamd, die vergelijkbaar functioneren zoals wij denken dat het menselijk brein werkt. Neuronen ‘zien’ kleine kenmerken in een afbeelding – zoals de vorm van een oor, een specifieke kleur of een omtrek – en berekenen een waarde (signaal) die naar de volgende laag wordt verzonden.

Het KAIST-idee werkt met ‘circuits’. Zo’n circuit verwijst naar een structuur waarin meerdere neuronen met elkaar verbonden zijn om gezamenlijk één betekenis (concept) te herkennen. Om bijvoorbeeld het concept van een kattenoor te herkennen, moeten neuronen die omtrekvormen, driehoekige vormen en vachtkleurpatronen detecteren, achtereenvolgens geactiveerd worden en zo een functionele eenheid (dat circuit dus) vormen.

Tot nu toe hanteerden de meeste verklaringstechnieken een neuroncentrische benadering, gebaseerd op het idee dat een specifiek neuron een specifiek concept detecteert. In werkelijkheid vormen lerende modellen echter concepten via coöperatieve circuitstructuren waarbij veel neuronen betrokken zijn. Op basis van deze observatie stelde het KAIST-onderzoeksteam een ​​techniek voor die de representatie van de eenheid van concept uitbreidt van neuron naar circuit.

Granulair

De nieuw ontwikkelde technologie van het onderzoeksteam, die de onderzoekersters granulair circuitconcept (GCC) noemen, is een nieuwe methode die analyseert en visualiseert hoe een beeldindelingsmodel intern concepten vormt op circuitniveau.
GCC traceert automatisch circuits door de neurongevoeligheid en semantische stroom te berekenen. Neurongevoeligheid geeft aan hoe sterk een neuron reageert op een bepaald kenmerk, terwijl semantische stroom meet hoe sterk dat kenmerk wordt doorgegeven aan het volgende concept. Met behulp van deze meetgegevens kan het systeem stap voor stap laten zien hoe basiskenmerken zoals kleur en textuur worden samengevoegd tot concepten op een hoger niveau.

De onderzoekersters voerden proeven uit waarbij specifieke circuits tijdelijk werden uitgeschakeld. Hierdoor veranderden de voorspellingen van de ki daadwerkelijk wanneer het circuit dat verantwoordelijk was voor een concept werd uitgeschakeld. Met andere woorden, het experiment toonde direct aan dat het bijbehorende circuit inderdaad de functie vervult van het herkennen van dat concept.

Volgens de onderzoekersters zou dit de eerste poging op fijnmazig circuitniveau zijn die het feitelijke structurele proces blootlegt waarmee concepten worden gevormd binnen complexe leermodellen. Die zou praktisch toepasbaar zijn in het gehele domein van verklaarbare ki, met inbegrip van het vergroten van de transparantie in de besluitvorming, het analyseren van de oorzaken van fouten, het detecteren van vooroordelen, het verbeteren van het ontfouten en van modelarchitectuur en het verbeteren van de veiligheid en verantwoording.
Deze technologie toont de conceptstructuren die ki intern vormt op een manier die mensen kunnen begrijpen. Deze studie biedt een wetenschappelijk startpunt biedt voor onderzoek naar hoe ki werkt, stellen de onderzoekersters.

Choi: “In tegenstelling tot eerdere benaderingen die complexe modellen vereenvoudigden voor verklaring, is dit de eerste benadering om de binnenkant van het model nauwkeurig te interpreteren op het niveau van fijnmazig circuits. We hebben aangetoond dat de door ki geleerde concepten automatisch kunnen worden achterhaald en verbeeld.” Deze studie werd op 21 oktober gepresenteerd op de International Conference on Computer Vision (ICCV).

Bron: Alpha Galileo