Een taalmodel voor meer 30 dollar?

Jiayi Pan

Jiayi Pan: piepklein taalmodel (afb: jiajipan.com)

DeepSeek zou aannemelijk hebben gemaakt dat kunstmatige intelligentie niet afhangt van de grote en enorme bedragen. Dat grote taalmodel zou maar een dikke vijfmiljoen dollar hebben gekost. Onderzoekers van de universiiteit van Californië rond Jiayi Pan zouden maar 30 dollar hebben besteed, gebruikmakend van eenaftelprog. Hij zou aan een artikel over deze prestatie werken.
Lees verder

ChatGPT haalt wetenschappers links (en rechts) in

ChatGPT

ChatGPT schijnt het druk te hebben (afb: blog ChatGPT)

Er is veel te doen om de ki-bot ChatGPT (en ik=as doe vrolijk mee), maar het persbericht bij Science Daily van het MIT deed me beide wenkbrauwen ernstig fronsen. Onderzoek zou hebben uitgewezen dat ’taalmodellen’ als ChatGPT een nieuwe taak leren op basis van maar een paar voorbeelden, meldt dat persbericht. Huh? Hebben de programmeurs bij OpenAI dat niet vooraf bedacht toen ze dat algoritme ‘bekokstoofden’ en is dit (toevallige) bijvangst (of meerwaarde)? Of weten de onderzoekers niet wat de makers van OpenAI voor ogen stond toen ze dat algoritme schreven?
Hoe dan ook: ze (dat zijn de MIT-onderzoekers) ontdekten dat deze ’taalmodellen’ zelf kleinere lineaire modellen schrijven in hun ‘verborgen lagen’, waardoor de ki-bot makkelijk nieuwe taken aan kan.
Lees verder