De laatste dagen ben ik mij aan het verdiepen in het onlangs verschenen boek Opkomst en ondergang van de kunstmatige staat van de Amerikaanse historica Jill Lepore. Met de ‘kunstmatige staat’ (the artificial state) doelt zij op een politieke orde waarin functies van de democratische rechtsstaat steeds meer worden overgenomen door particuliere technologiebedrijven, digitale systemen en kunstmatige intelligentie. Het gaat haar niet alleen om AI, maar vooral om de verschuiving van politieke macht: weg van burgers en democratisch gekozen instellingen, naar machines en de bedrijven die deze bezitten en besturen.
Bij het lezen moest ik soms denken aan ideeën die ik zelf heb ontwikkeld in De waan van het schrijven. Harry Mulisch en de creatieve psychose. Bij Mulisch staat de vraag centraal in hoeverre de mens zelf machinaal functioneert en hoe de techniek een model kan worden voor het menselijk bestaan. Lepore richt zich vooral op de politieke consequenties daarvan. Wat gebeurt er wanneer we niet alleen de mens als een machine gaan beschouwen, maar ook de samenleving als een machine gaan inrichten?
In dat opzicht raken haar ideeën aan het begrip ‘machinemens’ dat Mulisch in zijn werk ontwikkelde. De macht van een systeem hoeft immers niet langer te berusten op een zichtbare machthebber die bevelen uitvaardigt. Zij kan ook groeien uit een netwerk van technische voorzieningen en bestuurlijke procedures die afzonderlijk redelijk lijken, maar gezamenlijk de ruimte voor menselijke afweging verkleinen. Beslissingen die vroeger door mensen werden genomen, worden steeds vaker voorbereid of overgelaten aan databanken en algoritmen. Dat gebeurt onder het aantrekkelijke motto dat cijfers objectiever zijn dan mensen. Maar een systeem draagt geen verantwoordelijkheid voor de gevolgen van zijn uitkomsten. Die verantwoordelijkheid blijft bij mensen, ook wanneer steeds moeilijker valt te achterhalen wie precies de beslissing heeft genomen. De kunstmatige staat kan zo ontstaan zonder dat iemand hem bewust heeft ontworpen. De macht is overal aanwezig en nergens nog volledig aanspreekbaar.
Lepore beschrijft hoe deze ontwikkelingooit begonnen is met de groeiende verwevenheid van handel, communicatie en transport. Wat in de jaren tachtig bekend werd als globalisering, leek aanvankelijk vooral een belofte van vooruitgang en onderlinge verbondenheid. Het internet en later de sociale media zouden daaraan een democratische dimensie toevoegen. Iedereen kon voortaan deelnemen aan het publieke debat, informatie delen en zich buiten de traditionele machtsstructuren organiseren. Maar die belofte keerde zich gedeeltelijk tegen zichzelf. Dezelfde netwerken die mensen met elkaar verbonden, bleken ook geschikt voor de verspreiding van desinformatie, de ondermijning van vertrouwen en de versterking van autocratische machthebbers. Vanaf het midden van de jaren 2000 begon de democratie wereldwijd terrein te verliezen. Leiders als Poetin, Erdoğan, Orbán en Trump konden hun macht vergroten binnen samenlevingen die formeel democratisch bleven, maar waarin de normen en instituties van de democratie geleidelijk aan betekenis verloren.
Deze ontwikkeling roept een vraag op die verder reikt dan de politiek. Wat gebeurt er wanneer systemen die mensen zelf hebben ontworpen, zich steeds meer aan menselijke controle lijken te onttrekken? De kunstmatige staat is niet alleen een overheid die technologie gebruikt om macht uit te oefenen. Het is ook een maatschappelijke orde waarin beslissingen steeds vaker worden voorbereid door modellen, berekeningen en algoritmen, terwijl onduidelijker wordt wie daarvoor verantwoordelijk is. Kunstmatige intelligentie geeft dit probleem een nieuwe dimensie. Zij automatiseert niet alleen arbeid, maar dringt ook door tot het denken, de taal en de vorming van ons oordeel. Daarmee krijgt het begrip machinemens een betekenis die Mulisch zich in zijn tijd nog niet volledig kon voorstellen.
In De waan van het schrijven heb ik verbanden gelegd tussen kunstmatige intelligentie, totalitair denken en de ontregeling van betekenis tijdens een psychose. In een psychose kunnen woorden en werkelijkheid op een vreemde manier in elkaar grijpen. Verbanden dringen zich op, betekenissen worden onontkoombaar en eigen gedachten kunnen aanvoelen alsof ze van buitenaf komen. Bij AI lijkt zich een omgekeerde beweging voor te doen. Niet het individuele bewustzijn verliest zijn greep op de werkelijkheid, maar de productie van betekenis raakt los van een individuele menselijke ervaring. Er verschijnen teksten die klinken alsof iemand iets heeft meegemaakt en doorleefd, terwijl die persoonlijke ervaring ontbreekt. De taal is er, maar de levensgeschiedenis die er gewoonlijk in doorklinkt, niet.
Die vergelijking moet niet letterlijk worden genomen. Een samenleving die massaal gebruikmaakt van AI is daarom nog niet psychotisch. Toch is er een overeenkomst die te denken geeft. In beide gevallen kan een overvloed aan betekenissen ontstaan die moeilijk nog te verbinden is met een gedeelde werkelijkheid. Digitale systemen produceren teksten, beelden en informatie die vervolgens weer als grondstof dienen voor nieuwe productie. De stroom houdt zichzelf gaande. Betekenis vermenigvuldigt zich zonder dat nog duidelijk is waar zij vandaan komt of waarop zij berust. Zo ontstaat een cultuur waarin taal steeds minder afhankelijk wordt van de noodzaak iets te vertellen. Het gevaar is niet dat er te weinig betekenis overblijft, maar dat het aanbod zo overweldigend wordt dat onze eigen ervaring erdoor wordt overstemd.
Misschien verklaart dit ook waarom het publieke debat over AI voortdurend tussen uitersten heen en weer schiet. Dezelfde technologie wordt voorgesteld als redding van de mensheid en als bedreiging voor haar voortbestaan. AI zou geestdodend werk overbodig maken, medische doorbraken mogelijk maken en onze creativiteit vergroten. Tegelijkertijd zou zij banen vernietigen, onze vrijheid ondermijnen en de beschaving ontwrichten. Die beloften en angsten sluiten elkaar niet uit, maar versterken elkaar. Hoe groter de verlossing die ons wordt voorgespiegeld, des te dreigender de mogelijke ondergang. AI wordt zo meer dan een technische ontwikkeling. Zij is een projectiescherm waarop onze diepste verlangens en angsten zichtbaar worden. De machine moet ons bevrijden van onze beperkingen, maar kan ons tegelijkertijd het gevoel geven dat we zelf steeds minder te betekenen hebben.
Zo krijgt het begrip machinemens een nieuwe actualiteit. Toen Mulisch tijdens het proces tegen Adolf Eichmann in Jeruzalem de nazi-bureaucraat onderzocht, ging het hem niet alleen om de monsterlijkheid van een misdadiger. Minstens zo verontrustend was de mogelijkheid dat iemand volledig opging in een bureaucratisch apparaat en zijn eigen oordeel verving door het uitvoeren van opdrachten. Het systeem werd zijn morele alibi. De hedendaagse situatie valt uiteraard niet gelijk te stellen aan de totalitaire misdaden van de twintigste eeuw. Toch is de verleiding om het eigen oordeel uit handen te geven herkenbaar. Ook wij kunnen ons verschuilen achter de uitkomst van een systeem. De computer heeft het berekend, het algoritme heeft het aanbevolen, de chatbot heeft het geformuleerd. De vraag wat we zelf vinden, maakt dan ongemerkt plaats voor de vraag wat het systeem ervan vindt.
Onderwijl herhaalt zich een proces dat zich ook al aandiende tijdens de snelle industriële revolutie in de negentiende eeuw, namelijk: een snel groeiende kloof tussen enerzijds techniek en exacte wetenschappen en anderzijds ethiek en de geesteswetenschappen. In deze tijd van een explosieve groei van kunstmatige intelligentie dient die kloof zich opnieuw aan, maar nu in een nieuwe gedaante. Niet alleen AI staat geheel los van beschaving en ethiek, ook de techbro’s van Silicon Valley munten uit in een nieuw soort debiliteit als het gaat om alles wat samenhangt met de humaniora. Maar ook de nieuwe autocraten zijn behept met deze bijzondere vorm van debiliteit, met Donald Trump als exemplarische pionier. In dat opzicht is hij bij uitstek een kind van deze tijd.
De totalitaire verleiding schuilt niet alleen in de macht van een systeem, maar ook in de behoefte aan een sluitend verhaal waarin alles op zijn plaats valt. De totalitaire ideologieën van de twintigste eeuw boden zo’n verhaal. De geschiedenis, het ras of de vooruitgang zou wetten volgen die geen ruimte lieten voor twijfel. Wie meende die wetten te begrijpen, kon zich beroepen op een waarheid die boven het individuele oordeel uitstak. Het noodlot kreeg de gedaante van een machine: eenmaal in beweging leek de uitkomst onvermijdelijk. Ook AI kan zo’n aura van onontkoombaarheid krijgen. Wat een systeem heeft berekend, lijkt al gauw objectiever dan wat een mens zelf denkt. Maar achter iedere berekening gaan keuzes schuil. Welke gegevens tellen mee? Welke doelen worden nagestreefd? Welke belangen blijven buiten beeld? Een uitkomst kan overtuigend zijn zonder daarom waar of rechtvaardig te zijn.
Dat is ook de politieke betekenis van de democratische erosie die Lepore beschrijft. Democratie berust niet alleen op verkiezingen en formele instituties, maar ook op de bereidheid onzekerheid te verdragen, argumenten te wegen en het oordeel van anderen serieus te nemen. Geen enkele instantie kan in een democratie aanspraak maken op het laatste woord. Wanneer burgers het vertrouwen verliezen in de instellingen die hun vrijheid moeten beschermen, ontstaat ruimte voor leiders die beloven de verwarring op te heffen. Zij presenteren zichzelf als degenen die weten wat er werkelijk aan de hand is en die zonder omwegen kunnen handelen. Technische systemen kunnen die belofte ondersteunen door complexe maatschappelijke problemen terug te brengen tot ogenschijnlijk ondubbelzinnige uitkomsten. De combinatie van politieke behoefte aan zekerheid en technisch gezag kan zo de ruimte voor tegenspraak verkleinen. Niet omdat AI vanzelf tot autocratie leidt, maar omdat haar aura van objectiviteit kan worden gebruikt om beslissingen aan het publieke debat te onttrekken.
We hoeven niet te kiezen tussen het geloof dat AI ons zal verlossen en de overtuiging dat zij ons te gronde zal richten. Beide houdingen kunnen ons verhinderen te zien wat er werkelijk op het spel staat. De machine is geen almachtige god en evenmin een onvermijdelijk noodlot. Zij is een menselijke uitvinding waarin menselijke belangen, verlangens en tegenstrijdigheden een nieuwe vorm aannemen. Maar naarmate haar invloed groeit, wordt haar menselijke oorsprong moeilijker te herkennen. Wat we zelf hebben ontworpen, verschijnt vervolgens als een zelfstandige macht waaraan we ons moeten aanpassen. De techniek krijgt het aanzien van een noodlot, terwijl we vergeten dat we haar zelf in het leven hebben geroepen.
De grootste bedreiging is misschien dat we het vermogen verliezen iets te bedenken wat niet al door een machine voor ons is bedacht. Dan zijn we niet door de techniek verslagen, maar hebben we onszelf overbodig gemaakt. Dat merken we wellicht pas wanneer we ons afvragen hoe het ook alweer voelde om zelf op een gedachte te komen en die vanuit een eigen ervaring verder te ontwikkelen. Het probleem is niet dat een machine ons denken kan nabootsen, maar dat wij die nabootsing geleidelijk als maatstaf voor ons eigen denken gaan beschouwen.
De machinemens van Mulisch voerde de opdrachten van een systeem uit zonder zich nog af te vragen wat hij zelf dacht of wilde. Wie tegenwoordig met AI werkt, kan op een subtielere manier in dezelfde positie terechtkomen. Er hoeft geen bevel te worden gegeven. Het volstaat dat we steeds vaker genoegen nemen met antwoorden die al voor ons zijn geformuleerd. Zo kan onze intellectuele autonomie verdwijnen zonder dat iemand haar formeel afschaft. Er is geen dictator nodig, geen verbod en geen dwang. Het gemak doet het werk. Politieke leiders die hun macht willen uitbreiden, kunnen deze ontwikkeling vervolgens benutten en versterken. Op alle fronten is dit een proces van win-win. De opkomende totalitaire machten hebben baat bij de erosie van de democratie, die zich alleen maar versnelt door de opkomst van de ‘kunstmatige staat’.
Een bevolking die eraan gewend raakt haar oordeel uit te besteden, biedt steeds minder weerstand aan systemen die steeds meer voor haar beslissen. Daar ontmoeten de kunstmatige staat van Lepore en de machinemens van Mulisch elkaar. Niet op het punt waar machines de macht overnemen, maar waar mensen hun eigen verantwoordelijkheid steeds minder vanzelfsprekend vinden. De kunstmatige staat hoeft ons dan niet eens meer te dwingen. Wij hebben ons al aangepast.
Zie ook mijn blog: Een nieuwe totalitaire verleiding