Volgens OpenAI is denken generaliseren
“Dit zijn spannende tijden”, zegt Boaz Barak, een computerwetenschapper aan de Harvard University die voor een jaar gedetacheerd is bij het superalignmentteam van OpenAI. “Veel mensen in het veld vergelijken het vaak met de natuurkunde aan het begin van de 20e eeuw. We hebben veel experimentele resultaten die we niet helemaal begrijpen, en vaak verrast het je als je een experiment doet. ” (..)
Belkin denkt dat er een verborgen wiskundig patroon in de taal zou kunnen zitten, waar grote taalmodellen op de een of andere manier misbruik van maken: “Pure speculatie, maar waarom niet?” ‘Het feit dat deze dingen taalmodel zijn, is waarschijnlijk een van de grootste ontdekkingen in de geschiedenis’, zegt hij. “Dat je taal kunt leren door simpelweg het volgende woord te voorspellen met een Markov-keten – dat vind ik gewoon schokkend.”
Dit zijn twee citaten uit een interessant artikel met als titel Large language models can do jaw-dropping things. But nobody knows exactly why (zie: hier). Ik kreeg de link gisteren toegestuurd van mijn zoon Jurriaan. De makers en wetenschappers van AI snappen nog steeds niet hoe het kan dat een taalmodel zoveel kan met het simpele mechanisme hoe ze getraind worden, zo liet hij mij weten. Het begrijpen van Deep Learning vereist een heroverweging van het fenomeen ‘generaliseren’. Een mens is een gewoontedier en denken is blijkbaar voor een groot deel generaliseren op basis van statistiek.
Wat is denken? Valse bescheidenheid is mij vreemd, en ik zou niet durven beweren dat ik geheel verschoond ben van enige intelligentie. Alleen, ik doe er zo weinig mee. Daar lig ik wel eens wakker van. Denken, denken, denken… dat is alles wat het hoofd te doen heeft. Denken is een spel met woorden. Maar is denken dan een vorm van generaliseren? Dat kan ik me haast niet voorstellen. Hoewel? Alles gaat vanzelf als je de basisregels kent, waarom zou het met het denken dan niet zo gaan?
En dan, hoe komt het dat een gedachte zomaar in het brein zich aandient? Wie haalt de trekker over? Ben ik dat? Zit er een poppetje in mijn brein die af en toe een gedachte als een soort knikker laat vallen, zodat hij vervolgens gaat rondtollen en andere gedachten als knikkers meesleurt in mijn hoofd? Zou het zo kunnen zijn, dat ook een vraag als vanzelf opkomt in het brein? Waar komt een vraag eigenlijk vandaan? Is er een soort kortsluiting aan voorafgegaan?
Maar wat was dat voorafgaande dan waar die kortsluiting plaatsvond? Waarom diende de vraag zich aan als vraag en niet als een constatering dat er iets niet klopte? Een vraag zou dus een voorafgaande gedachtegang veronderstellen, maar soms lijkt een vraag zomaar uit het niets te komen. Maar hoe komt hij daar dan uit te voorschijn? Zat hij daar al een tijdje? Wat was de trigger die de vraag deed wegschieten uit zijn schuilplaats buiten het bewustzijn?
Nogmaals, wat is denken? Bij het trainen van machine learning-modellen worden ze blootgesteld aan grote hoeveelheden gegevens en leren ze patronen en structuren herkennen in die gegevens. Dit proces omvat vaak het generaliseren van informatie om voorspellingen te doen over nieuwe, niet eerder geziene gegevens.
Maar dat is nog geen denken, denk ik dan. Mensen beginnen met denken. Waarom doen ze dat? En hoe doen ze dat? Wat zet dit proces in werking? Bij het denken maakt een mens ook gebruik intuïtie, creativiteit, emoties, enzovoort. Dat zijn registers van het brein die momenteel (nog) niet volledig kunnen worden gereproduceerd door kunstmatige intelligentie. En toch, toen ik het artikel las over hoe AI-wetenschappers tegenwoordig denken over de vraag hoe ons denken in elkaar steekt, ging het me even duizelen en ben ik uit het raam gaan staren…..
En opeens had ik een déjà vu.
Toen ik nog op school zat, fantaseerde ik dat ik een formule had gevonden waardoor ik op iedere vraag een antwoord kon geven, doordat de formule het antwoord al in de vraag kon herkennen. Misschien staan we op het punt om die formule te ontdekken. Soms denk ik: ik zou een roman willen schrijven waarin de hoofdpersoon die formule gevonden heeft. Hij weet op alle vragen een antwoord, maar de mensen begrijpen hem niet goed. En dan realiseer ik mij, dat die roman misschien al in 1970 geschreven is. Being There, van Kosinsky zou je zo kunnen lezen.
In de film die van deze roman werd gemaakt, had Peter Sellers de hoofdrol. Hij speelt een eenvoudige man die zijn hele leven op het landgoed van een rijkaard heeft gewoond, waar hij de tuin verzorgde. Zijn naam is niet Bond, James Bond…, maar Chance, the gardener. Zijn leven verandert ingrijpend wanneer de oude man sterft. Dan zwerft de tuinman een tijdje doelloos rond en wordt dan door een reeks wonderlijke misverstanden zelf ook steenrijk.
Al zijn wijsheid heeft hij vergaard door het kijken naar tv. Maar alles wat hij zegt, klinkt op een wonderlijke manier heel diepzinnig. Het is de wijsheid van de gewone man, de populist avant la lettre, maar misschien ook wel de wijsheid van ChatGPT. De machine-mens heeft een diepgang in zijn denken die de normale mens niet kent. Het is de diepe wijsheid van het oppervlak. De peilloze diepgang van het generaliseren.
Uiteindelijk wordt deze voormalige tuinman hij zelfs kandidaat voor het presidentschap van de Verenigde Staten. De film eindigt met een beeld van de man die wegloopt over het water. Er wordt gespeecht bij een uitvaart waar hij niet meer bij wil horen. De afsluitende woorden zijn: ‘Life is a state of mind!’, waarmee alles is gezegd wat er te zeggen valt.
In diepste wezen is schrijven een vorm van verzamelen. Dat doet een OpenAI-programma ook, denk ik. Een schrijver verzamelt zinnen en probeert daar zijn lering uit te trekken. Iedereen heeft zijn hobby en een geliefkoosde hobby is verzamelen. Zo ken ik mensen die er plezier in vinden rouwadvertenties bijeen te garen, anderen die zweren bij Chinese keramiek uit de Ming-periode en ik ken zelfs iemand die zich toelegt op het verzamelen van boodschappenlijstjes die zijn achtergelaten in de lege karretjes bij Albert Heijn.
Mijn hobby was lange tijd minder spectaculair. Ik verzamelde onzinnige gedachten. Dat was een eindeloze, onzinnige onderneming die tegelijk zin en einde had. Immers, de complete verzameling van alle onzinnige gedachten is zelf een onzinnige gedachte en kan dus nooit een complete verzameling zijn. Hier wringt iets. Er moet dus één onzinnige gedachte zijn die niet past in de complete verzameling van alle onzinnige gedachten. Toen ik die rare kronkel in mijn brein had ontdekt, ben ik opgehouden met het verzamelen van onzinnige gedachten. Sindsdien verzamel ik citaten. Bijzondere citaten heb ik inmiddels aan mijn verzameling weten toe te voegen, zoals:
‘De taal is het huis van de ziel (Heidegger).
‘Alleen in mijn gedichten kan ik wonen” (Slauerhoff)
en:
‘Ik heb in een prullenmand geleefd, omringd door vioolmuziek en kwartetsnippers, gelukkig, onnadenkend’ (Lodeizen).
Het verzamelen van citaten zou er op kunnen duiden dat degene die deze eigenaardige hobby beoefent zelf niet veel heeft mee te delen. Citaten zijn woorden van anderen en behoren dus niet tot de taal die jezelf spreekt. Iemand kan dertien talen spreken, maar met stomheid geslagen worden door de simpele vraag: ‘Heeft u daarin ook iets mee te delen?’ Mijn hobby stelt dan ook niet meer voor dan het ordenen van alles wat reeds gezegd is, het zoeken van nieuwe verbanden in een chaos van snippers: het heelal van de prullenmand.
De Fransen spreken over een livre de chevet, een boek dat altijd op je nachtkastje ligt en waaruit je in elke situatie naar believen kunt citeren. Ik heb niet zo’n boek, maar wel kaartenbakken. Citaten die ik vind worden keurig in tweevoud uitgetypt op kaartjes en vervolgens opgeborgen in ladenbakken die op twee manieren geordend zijn: alfabetisch op volgorde van het eerste woord en systematisch met als trefwoord het belangrijkste woord uit de zin.
In de loop der jaren heeft deze verzameling een behoorlijke omvang gekregen, zodat mijn zolder weinig ruimte meer biedt. Hiermee is niet gezegd dat ik letterlijk alles verzamel. Ik laat mij leiden door mijn intuïtie. Een zin moet een zekere spanning bevatten en mij het gevoel geven dat er ergens van binnen een metertje uitslaat. Dit ingenieuze mechaniek is het enige wat deze chaos van zinnen met elkaar verbindt en als ik de mogelijkheid zou hebben om het binnenwerk hiervan te demonteren zou ik misschien enig zicht krijgen op wat ik zoek met mijn verzameldrang.
Er is een tijd geweest dat ik de behoefte voelde mij te specialiseren. Zo heb ik mij toegelegd op de eerste zinnen van boeken. De meeste schrijvers hebben in hun achterhoofd het idee dat de eerste zin in een notendop de inhoud van een heel boek moet kunnen samenvatten en dat levert prachtige citaten op zoals:
‘In den beginne was het Woord en het Woord was bij God en het Woord was God.’ (Johannes 1.1.)
‘Een mens werkt, vrijt, slaapt, eet – en overal op aarde wordt inmiddels alchemie bedreven met de dertien letters van zijn naam.’ (Harry Mulisch, Het stenen bruidsbed)
Slotzinnen vormen ook een vruchtbaar verzamelgebied. Er zijn boeken die eindigen in een knal, een zin waarin het hele betoog nadreunt en waarvan de echo nog lang te horen is:
‘Waar men niet over kan spreken, daarover moet men zwijgen.’(Wittgenstein, Tractatus Logico Philosophicus).
Een bijzondere categorie vormen de slotzinnen die een pas op de plaats maken, waarin het betoog blijft ronddraaien als een grammofoon die niet afslaat:
‘Laten we doorgaan’ (Sartre, Met gesloten deuren).
Het toeval wil dat ik ook een verzamel-elpee heb van Franse chansons, waar sinds jaar en dag een kras op zit, zodat de naald altijd blijft hangen in een groef met het woord: ‘.. continuons … continuons … continuons … ‘
Citaten kunnen glashelder zijn, maar er zijn er ook die na tien keer lezen niets anders opleveren dan een beslagen ruit in je brein. De woorden doen dan wel een betekenis vermoeden, maar lijken niet op de juiste plaats te staan. Soms probeer ik citaten opnieuw te ordenen. Ik leg de kaarten uit als een patience-spel om zo een nieuwe tekst te creëren, die wellicht wat meer duidelijkheid kan brengen. Op die manier ontstaan weefsels van zinnen, waarin nieuwe verbanden verschijnen en verdwijnen. En soms kan in een ogenschijnlijk cliché een diepe wijsheid schuilgaan:
‘Groei heeft zijn seizoen. Zo is er lente en zomer, maar er is ook herfst en winter. En dan weer lente en zomer. Zolang de wortels niet worden doorgesneden, is alles goed en komt alles goed.’ (Kosinsky, Being There)
En als je de goede metafoor eenmaal te pakken hebt, komt de wijsheid vanzelf:
‘In een tuin groeien dingen. . . maar eerst moeten ze verdorren; bomen moeten hun bladeren verliezen om nieuwe bladeren voort te brengen, en om dikker, sterker en groter te worden. Sommige bomen sterven, maar nieuwe jonge boompjes komen ervoor in de plaats. Tuinen hebben veel zorg nodig. Maar als je van je tuin houdt, vind je het niet erg om erin te werken en te wachten. Dan zul je hem in het juiste seizoen zeker zien bloeien.’ (Kosinsky, Being There)
Citaten zijn mooie zinnen, en ik zeg het nogmaals: schrijven is het verzamelen van zinnen die je aan elkaar kunt weven en dan weer los kunt halen. Het heeft iets weg van de geduldige arbeid van Penelope die ’s nachts weer uithaalt wat ze overdag geweven heeft. Vaak droom ik ’s nachts van een citaten-automaat, een lotto-molen waaruit balletjes met zinnen rollen. Zinnen die zich aaneenrijgen tot teksten en vervolgens weer uiteenvallen in een buitelen en stuiteren van woorden. De droom slaat soms om in een nachtmerrie.
De citaten-automaat wordt dan een tovenaarsleerling, een kunstmatig brein dat behekst is met taal en dat uit al mijn citaten een tekst produceert die volledig doorzichtig is als een ijzig kristal dat zich plotseling formeert in een oververzadigde oplossing. Zo ontstaan de meest wonderlijke zinnen die uitschieten als ijsbloemen aan de binnenzijde van een venster. Als ik wakker schrik, vind ik alleen maar kaarten met verdwaalde zinnen die geen enkele diepgang lijken te hebben.
Ik zou een gedicht kunnen schrijven van openingszinnen van romans door achtereenvolgens de 1 ste, 2de, 3de ,4de, 5de en 6de kaart uit mijn bak te nemen of me te houden aan de reeks van Fibonacci. Maar de wonderlijke schoonheid die deze tekst zou opleveren, haalt het nooit bij de beginregels van het gedicht Scheppinkje van Leo Vroman:
‘Kon ik Jou, Heer, tezamensponzen tot een gebaartie op mij hand en gaf Jou alle kralen, donzen poesjesmiepsen en hommelgonzen en Jij weefde het verband … ‘
Een citaat kan een kristal zijn en een gedicht een heelal van woorden. Maar citaten zijn ook eindpatronen in een keten van mislukte zinnen die als proppen papier verdwenen zijn in het zwarte gat van een prullenmand. In dit schimmenrijk zijn woorden voorgoed gedoemd tot wanorde. Ze buitelen rond in het heelal van Boltzmann, de natuurkundige die ooit zelfmoord pleegde omdat zijn kosmologie niet klopte en in de prullenmand verdween.
Schrijven is herschrijven, proberen je eigen woorden te verstaan en te begrijpen dat woorden zich altijd blijven verwijderen van datgene wat je eigenlijk wilt zeggen. Het is een gevecht tegen de entropie van de taal, een onophoudelijk pogen de centrifugale kracht te overwinnen die de woorden uiteendrijft, terwijl het bijeenbrengen van de woorden, die het verst van elkaar verwijderd zijn, vaak de meest vruchtbare zinnen oplevert. Bij het schrijven krijg je soms wat cadeau, maar er gaat ook eindeloos veel verloren.
Citaten kunnen niets verliezen. Ze kunnen alleen maar winnen door ze als een stek af te breken en ze te planten in een nieuwe pot. Je kunt ze als een plank losrukken uit de vloer van een tekst waardoor de kruipruimte van de taal zichtbaar wordt. Openingszinnen en slotzinnen zijn boeiende specialisaties voor een verzamelaar van citaten. Maar de drang om mij te beperken heb ik inmiddels overwonnen en soms betrap ik mij erop mijn criterium te verruimen en letterlijk alles te gaan verzamelen.
Het metertje van binnen is in de loop der tijd steeds vaker gaan uitslaan. En het onvermijdelijke – waar ik altijd al bang voor ben geweest – is onlangs gebeurd. Het metertje is op tilt geslagen als een kompas die exact op de noordpool komt en alle kanten op gaat draaien. Eén zin was voldoende aanleiding voor deze kortsluiting die mijn verzameling van citaten als een kaartenhuis in elkaar deed storten. Het is een zin die alle zinnen overbodig maakt en voorkomt in een boek dat de lezer wegwijs wil maken in wat wordt genoemd ’transformationeel – generatieve grammatica’. De fatale zin luidt als volgt:
‘Een taal doet zich op de meest directe wijze aan ons voor in de vorm van zinnen en kan in descriptief opzicht worden opgevat als een verzameling van alle zinnen die er deel van uit maken en die ermee kunnen worden voortgebracht.‘ (Kraak, Syntaxis)
De kortsluiting kwam niet acuut tot stand. Ik heb de zin eerst met potlood onderstreept, daarna in tweevoud uitgetypt, maar op het moment dat ik de kaarten op wilde bergen sloeg de verwarring toe. Ik besefte dat deze kaarten niet goed pasten tussen al die anderen. Immers in deze zin wordt een uitspraak gedaan over alle zinnen die ik in de loop der jaren verzameld heb. Hij is dus van een hogere orde en zou dus eigenlijk in een aparte bak moeten.
Maar daarmee zou ik mij opnieuw gaan specialiseren, wat ik juist niet meer wil. Aan de andere kant, wie kan mij garanderen dat ik niet ooit nog eens een citaat zal vinden waarin een uitspraak wordt gedaan over al dit soort zinnen die in deze aparte bak moeten. Dan komt er weer een aparte bak bij en zo ontstaat een verzameling van kaartenbakken op zoek naar die ene allesomvattende slotzin die misschien nog niet eens bestaat ook.
Hoewel, die ene slotzin is al in beeld gekomen. Alles wat mogelijk gezegd kan worden is al in potentie aanwezig. De zin van Kraak immers bevat een uitspraak over alle zinnen die je met taal kunt voortbrengen en moet dus ook betrekking hebben op die ene terminale slotzin, ook al valt hij nog niet te vangen in een citaat. De kortsluiting blijkt nu een meltdown te worden.
De ijzige afwezigheid van dit nog niet gevonden citaat slaat om in een ontzagwekkende aanwezigheid die zich uitzaait in de complete verzameling en alle kaarten aantast met een bizarre samenhang. Het is de ultieme symmetrische basisregel, de moedermal van de grammatica, de golem die sluimert in mijn kaartenbak, de BIG BANG – woorden, de oerknal, waar alle taal uit voorkomt en in eindigt. Dit is de slotzin waarnaar wij allen op weg zijn:
‘Dit is de slotzin waarnaar wij allen op weg zijn.’
‘Dit is de slotzin waarnaar wij allen op weg zijn.’
‘Dit is de slotzin waarnaar wij allen op weg zijn.’