‘Voorbij een bepaald punt beginnen de oplossingen voorgesteld door AI meer kwaad dan goed te doen’

In Amerika vallen de regionale banken als vliegen. Het faillissement van First Republic Bank, het tweede grootste in de Amerikaanse geschiedenis, volgde kort op dat van Silicon Valley Bank en Signature Bank. Het script is altijd hetzelfde. Een regionale bank miskijkt zich op de rentestijging, komt in de problemen, de markt krijgt er lucht van, een digitale bankrun ontstaat, de overheid neemt de controle over en probeert de paniek af te wenden door andere banken geld te laten deponeren bij hun onfortuinlijke sectorgenoot, ziet vlug in dat het niet mag baten en verkoopt dan via een korte biedprocedure de regionale bank aan een grootbank.

Voorbij een bepaald punt beginnen de oplossingen voorgesteld door AI meer kwaad dan goed te doen.

JP Morgan wist First Republic binnen te halen, ofschoon dat strikt genomen in strijd is met de Amerikaanse antitrustwetten. Wanneer de nood het hoogst is, wordt echter wel vaker de tering naar de nering gezet. De condities van de overname zijn daarenboven zo ingesteld dat een stuk van de risico’s bij de overheid zit in plaats van bij JP Morgan. Daardoor wil de overheid vermijden dat het systeemrisico in het banksysteem zou verhogen door JP Morgan te besmetten. De klanten van First Republic zijn gered, een bancaire crisis vermeden, de belastingbetaler blijft buiten schot, JP Morgan en zijn aandeelhouders zijn in hun nopjes. Al bij al een vrij optimale oplossing, een pragmatisch systeem, door mensen bedacht. Maar wat zou er gebeuren mochten we, in deze moderne tijden, voortaan het bankstelsel aansturen met een algoritme, aangevuurd door artificiële intelligentie, afgekort AI? Dankzij AI kunnen we het systeem zelflerend maken, waardoor het een eigen leven zou leiden en we onszelf veel moeite kunnen besparen. Een onweerstaanbaar idee. Of zit er een adder onder het gras?

Elk AI-systeem is gebaseerd op twee basiscomponenten: een doelstelling en een computeralgoritme dat het optimale gedrag berekent om die doelstelling te bereiken. We geven het algoritme als doelstelling ‘het Amerikaanse banksysteem veiliger te maken’. In een eerste fase zal het resultaat het banksysteem versterken, maar de optimalisatiehonger van het algoritme is daarmee niet gestild. Het is immers geprogrammeerd om te blijven optimaliseren, wat het resultaat ook is. Naarmate het optimalisatieproces blijft doorgaan, zien we iets vreemds gebeuren: voorbij een bepaald punt beginnen de oplossingen voorgesteld door AI meer kwaad dan goed te doen. Het systeem besluit dat alle regionale banken een potentieel probleem vormen en zet daarom zelf bankruns in gang, zodat ze kunnen worden opgeslokt door de grootbanken. Zodra dat gebeurd is en enkel JP Morgan, Bank of America, Citigroup en Wells Fargo overblijven, gaat de optimalisatie door en besluit het algoritme dat één beter is dan vier. Aan de singulariteit stranden we in een monopolistisch banksysteem, waarbij de bank de regulator controleert in plaats van omgekeerd. Uiteindelijk implodeert het hele systeem.

Het probleem met AI is dat om een optimaal eindresultaat te krijgen, de doelstelling een volledige weergave moet zijn van wat de gebruiker beoogt, wat hier niet het geval is. De Appetite for Destruction van AI die blind mag optimaliseren richting een te eng gedefinieerd objectief is geen sciencefiction, maar een mathematische zekerheid, zoals onder meer professor Dylan Hadfield-Menell van het MIT heeft aangetoond. Hij maakt de analogie met koning Midas, die zijn wens vervuld zag dat alles wat hij zou aanraken in goud zou veranderen. Helaas had hij vergeten erbij te wensen dat zijn voedsel en kind niet in goud zouden veranderen bij zijn aanraking. AI is het nieuwe eldorado voor de techreuzen die het strijdtoneel zullen domineren. Laten we hopen dat goudkoorts het correct definiëren van de maatschappelijke doelstellingen van hun AI-algoritmes niet in de weg zal staan. Anders zal nog een beschaving ten onder gaan.