Neurale netwerken leren beter door niet te leren

Geheugenvorming

Dit is ongeveer wat er zich ’s nachts bij ons in het hoofd afspeelt. Dat grandioze/katastrofale vergeten is menselijke ki eigen (afb: UCSD)

Kunstmatige intelligentie wordt tegenwoordig bij de duvel en zijn ouwe moer gebruikt. Neurale netwerken, een vorm van ki, blijken beter te leren als ze niet vooraf worden volgepropt met allerlei weetjes, vonden onderzoekers.
Ki-mensen, en uiteraard ook hersendeskundigen, proberen uit te vogelen hoe onze hersens het doen. In vergelijking daarmee zijn zelfs de vernuftigste ki-systemen grote klunzen. Op een afgebakend gebiedje verslaan die de grootmeesters, maar hersens zijn niet beperkt tot een minuscuul gebiedje. Bovendien moeten ki-systemen eerst een hoop ballast in hun ‘hoofd’ stampen alvorens aan de slag te kunnen gaan. Dat kost tijd en gigantisch veel energie.
Lange tijd was het een raadsel hoe het komt dat we slaap nodig hebben. Nu heeft het idee de overhand gekregen dat onze hersens tijdens de slaap het boeltje ‘ordenen’, zoiets als de rommel opruimen na een wat uit de hand gelopen klus. Dat leek sommige onderzoekers ook wel een goed idee voor de ‘denkende’ machines.

“De hersens zijn erg druk tijdens onze slaap”, zegt Maxim Bashenov van de universiteit van Californië in San Diego. “Dan wordt er herhaald wat we overdag ervaren hebben.” Tijdens de slaap bouwt het brein aan het rationele geheugen, het vermogen relaties tussen zaken te herinneren, ontdekten Bashenov eerder. Dat rationele geheugen voorkomt ook dat we oude herinneringen kwijtraken, al is dat niet helemaal te vermijden.
Neurale netwerken zijn nabootsingen van de manier waarop wij denken dat onze hersens werken. Die hebben wat krasse maar verder vrij nutteloze staaltjes afgeleverd door go- en schaakkampioenen te verslaan, maar ze hebben een groot manco: ze zijn nogal vergeetachtig. Nieuwe informatie overschrijft de oude anders dan in onze hersens. Bij rekentuigen wordt dat katastrofaal vergeten genoemd.
“Mensen leren bij”, zegt Bazhenov. “Ze passen de nieuwe informatie in in de bestaande kennis en dat gaat het beste als je daarbij tussendoor slaapt.” Hij en collega’s vroegen zich af hoe je dat bij ki-systemen kan bereiken. Ze gebruikten neurale netwerken die, in hun idee, zo veel mogelijk geënt zijn op de werkwijze van onze hersens. Er loopt niet een voortdurende stroom van gegevens, maar met intervallen. De cellen in de kunstmatige neurale netwerken ‘vuren’ zoals hersencellen doen.

Ze introduceerden ook rustperiodes (bij wijze van slaap) en het bleek dat dat grandioze geheugenverlies een stuk minder werd. Zoiets als bij mensen, beweren de onderzoekers. In die rustperiodes ‘herbeleven’ de systemen opgeslagen gegevens zonder de aloude ‘propsessies’ van ki-systemen te hoeven gebruiken.

Synaptisch gewicht

In onze hersens zijn de cellen verbonden met vele andere (vaak vele duizenden). Die ‘communiceren’, onder meer, met elkaar via de uitlopers van die ’tentakels’, de synapsen. Die verbindingen zijn niet 1 of 0 maar hebben een bepaald ‘gewicht’, afhankelijk van de uit te voeren taak.
Bazhenov: “Tijdens de slaap leren je hersens die vuurpatronen. Synaptische plasticiteit (‘aanpassingsvermogen’; as) bestaat ook tijdens de slaap. Dan kunnen de synaptische gewichtspatronen verbeterd worden. Dat is het geheugen.”

Machines bleken dat ook te kunnen. “Die kunnen voortdurend leren. Slaapritmes verbeteren het geheugen. In andere projecten gebruiken we rekenmodellen om tijdens de slaap hersens te stimuleren. Dit kan vooral van belang zijn als het geheugen niet goed werkt of achteruit gaat zoals bij Alzheimer.”

Bron: Science Daily

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze site gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.