Verantwoorde kunstmatige intelligentie

Dit artikel is oorspronkelijk geschreven voor KI-studenten. Bij het breder publiceren heb ik een paar details aangepast, maar de hoofddoelgroep van dit opiniestuk blijft mensen die áán kunstmatige intelligentie werken. Desondanks kan het denk ik ook interessant zijn voor hen die het enkel gebruiken.

Inleiding

Een vak dat ik eerder dit jaar volgde als onderdeel van mijn master Artificial Intelligence sloot af met een gastcollege over deepfakes: met behulp van KI gegenereerde media (veelal video's) waarbij de gelijkenis van bestaande personen wordt gebruikt. De titel gaf mij de verwachting dat het zou gaan over de gevolgen van de opkomst van deepfakes, en de manieren waarop we ermee om kunnen gaan. Inleidend, in lijn met mijn verwachting, werden enkele voorbeelden getoond van hoe ver de technologie inmiddels is. Daarna… o nee, daar bleef het bij. Zijdelings werd mogelijk misbruik genoemd, zoals een app waarmee je op basis van een enkele foto een willekeurig persoon kunt uitkleden. Verder kwam het college min of meer neer op "Kijk, dit kunnen we ook, cool hè?".
Het stemde me onrustig dat dit college zo eenzijdig technologie-gericht was, en dat met een titel die iets anders deed vermoeden, maar een gedachte die me wellicht meer dwarszat was dat dit – in mijn ogen – gebrek velen waarschijnlijk niet eens was opgevallen. Ik had het er met een studiegenoot over, en zij ervoer dezelfde frustratie. Het lijkt alsof het veel mensen weinig of niets kan schelen wat er met de technologie die wij ontwikkelen gebeurt. Misschien ben jij een van die mensen. In dat geval hoop ik dat ik je met dit stuk, dat vier keerzijden aan de ontwikkelingen bespreekt, aan het denken kan zetten.

Impact op het klimaat

Ten eerste zijn bepaalde aspecten van de technologische ontwikkeling belastend voor het klimaat. Sinds de opkomst van Deep Learning in 2012 vindt er een sterke groei in het aantal parameters van state-of-the-art modellen plaats. BERT, uit 2018, heeft 354 miljoen parameters. GPT-3, uit 2020, heeft er 175 miljard. GPT-4, uit 2023, heeft er zo'n 1,76 biljoen. Er wordt geschat dat het trainen van GPT-4 ongeveer zoveel energie heeft verbruikt als het jaarlijkse gebruik van duizend Amerikaanse huishoudens. Dit hoeft maar een keer per model, maar het doen van inferenties met dergelijke modellen kost ook energie. Voor zowel trainen als inferentie geldt: hoe groter het model, hoe meer kosten. De trend om modellen steeds maar meer parameters te geven heeft dus impact op het klimaat.
Het is echter mogelijk om grotere modellen te vervangen door efficiëntere modellen met vergelijkbare prestaties. Onderzoek naar pruning heeft aangetoond dat er winst te behalen valt op het gebied van de benodigde ruimte en rekenkracht, zonder verlies aan prestaties. Wellicht iets waar we meer naar moeten kijken, in plaats van gewoon maar het aantal parameters weer te vertienvoudigen.

Doorzetten van onwenselijke patronen

Naast het klimaat beïnvloedt KI ook het maatschappelijke milieu. Machine learning herkent patronen in data. In onze data komen echter vaak patronen voor die we als onwenselijk beschouwen. Het is bijvoorbeeld zo dat hoge posities binnen een bedrijf vaker door mannen worden bekleed dan door vrouwen. Maar is het wenselijk dat een model dat sollicitatiebrieven moet beoordelen sollicitaties afkeurt omdat de sollicitant vrouwelijk is (dit is bij Amazon gebeurd)? Mensen hebben soms het idee dat kunstmatige intelligentie eerlijkere keuzes kan maken dan mensen, maar aangezien de modellen getraind zijn op bestaande data, nemen ze de vooroordelen die mensen – bewust of onbewust – gehanteerd hebben over.
Het is belangrijk om na te gaan welke vooroordelen in data verscholen liggen en op basis waarvan modellen bepaalde keuzes maken. Deze verantwoordelijkheid ligt wat mij betreft niet alleen bij de bedrijven die de modellen bestellen en implementeren, maar ook bij ons, de ontwikkelaars, die meer inzicht hebben in wat er in een model omgaat. Dit brengt ons echter bij een ander probleem.

Beperkt inzicht in eigen creatie

Ons inzicht in de door ons gecreëerde modellen is beperkt. State-of-the-art neurale netwerken hebben zoals eerder besproken miljarden parameters, en een complexe structuur. Zodoende gedragen ze zich als black box en is het erg lastig om te onderzoeken hoe een model tot een bepaalde output komt.
Er zijn echter meerdere onderzoeksrichtingen die hier verandering in zouden kunnen brengen. Er is bijvoorbeeld onderzoek dat inzicht probeert te krijgen in het gedrag van een model met behulp van probes, waarbij een kleiner model wordt getraind om op basis van de interne representaties van het onderzochte model de output te voorspellen. Een andere optie is het ontwikkelen van modellen die inherent meer uitlegbaar zijn, zoals met neurosymbolische KI. Een zich recent ontvouwend onderzoeksveld is dat van mechanistic interpretability, waarbij neurale netwerken gereverse-engineerd worden. Genoeg mogelijkheden om te onderzoeken, dus! Want de huidige stand van zaken is verre van ideaal. Een large language model als ChatGPT kun je vragen om een bepaalde output te verklaren, maar er is geen enkele reden om ervan uit te gaan dat de gegeven redenen overeenkomen met hetgeen er daadwerkelijk gebeurd is (zie bijvoorbeeld deze conversatie!).

Verspreiden van misleidende en/of gevaarlijke informatie

Het afgelopen jaar veroorzaakten large language models een nieuwe KI-hype. Ondanks de indrukwekkende resultaten is er echter alle reden om kritisch te zijn over de ontwikkeling en het verspreiden van deze modellen. Ondanks de kleine waarschuwing onderaan de pagina van ChatGPT zijn veel gebruikers zich niet bewust van de beperkingen van de techniek. Dat scholieren papers inleveren met niet-bestaande artikelen in de bronvermelding valt misschien nog te overzien, maar in april 2023 ondersteunde een advocaat zijn positie met zes fictieve eerdere rechtzaken, gegenereerd door ChatGPT.
Een large language model, getraind op zo'n diverse verzameling data, kan ook mogelijk gevaarlijke output genereren, zoals een handleiding om explosieven te maken of een manifest over de minderwaardigheid van zwarten. De ontwikkelaars bouwen zogenaamde guardrails in die dergelijke outputs moeten tegenhouden, maar veel van deze guardrails zijn pas geïmplementeerd nadat gewone gebruikers rare dingen uithaalden. Terwijl een nieuw medicijn aan een uitgebreid testtraject onderworpen is voordat het op de markt gebracht mag worden, wordt een nieuw large language model zomaar online gegooid, met alle gevolgen van dien. Ik vind dat dit onverantwoord is, en dat een onderzoeksfase waarbij gekeken wordt naar mogelijk gebruik en misbruik cruciaal is.

Slot

In ons vakgebied wordt indrukwekkende technologische vooruitgang geboekt. Deze ontwikkelingen hebben invloed op de hele maatschappij. Door het alsmaar vergroten van modellen wordt de ecologische voetafdruk steeds groter; er valt wellicht winst te behalen op dit gebied door meer onderzoek naar pruning en gerelateerde technieken. Daarnaast leidt het ondoordacht inzetten van kunstmatige intelligentie tot het doorzetten van onwenselijke patronen; wij moeten proberen na te gaan welke vooroordelen in gebruikte data verscholen liggen en anderen informeren over de risico's van getrainde modellen. Er is weinig inzicht in state-of-the-art modellen, maar er zijn veel onderzoeksmogelijkheden in de richting van meer uitlegbare KI; laten we hier meer aandacht aan besteden. Tot slot kunnen state-of-the-art modellen die zomaar vrijgegeven worden gevaarlijke situaties veroorzaken; het is aan ons om gebruikers beter te informeren, maar modellen zouden ook beter onderzocht moeten worden voordat ze breed verspreid worden.
Wij bevinden ons in een gaaf vakgebied, met veel nieuwe mogelijkheden. Waarvoor wil jij je inzetten? De wetenschap, het grote geld, de wereld…? Ik weet waar ik voor wil gaan.