Stemreplicatie is door recente technologische doorbraken eenvoudiger dan ooit. Tijdens de boekpresentatie van “De AI Revolutie” liet ik stemmen horen van Koning Willem Alexander, Burgemeester Femke Halsema en historicus Maarten Van Rossem. Deze publieke figuren spraken woorden die zij nooit hadden uitgesproken. Het is met generatieve spraak modellen mogelijk om met ongeveer 20 seconden aan opname van iemands stem ze vervolgens alles te laten zeggen.
Deze ontwikkeling roept urgente vragen op. Wat gebeurt er als criminelen deze techniek gaan gebruiken? Kunnen ze dierbaren oplichten door vertrouwde stemmen te imiteren? Wat is de impact op nieuws en informatie? Hoe kunnen we de verspreiding van zeer geloofwaardig nepnieuws nog tegenhouden? En moet de overheid ingrijpen, mogelijk door het gebruik van deze technologie te beperken of zelfs te verbieden, om misbruik te voorkomen?
Hoe werkt stemreplicatie?
Stemreplicatie vindt zijn basis in generatieve modellen, die lijken op de large language models zoals het beroemde GPT van OpenAI. Dankzij recente doorbraken kan een algoritme, getraind op miljoenen uren aan stemgeluid, zich met slechts 3 seconden van een specifieke stem aanleren om de stem te repliceren. Een treffend voorbeeld hiervan is Microsofts model, VALL-E, waarvan de paper begin 2023 werdt gepubliceerd. De makers hielden de broncode geheim uit angst voor misbruik. Echter, vergelijkbare technologie is inmiddels breed toegankelijk geworden en het gebruik daarvan vereist geen technische kennis. Voor een kleine maandelijkse vergoeding stellen online tools iedereen in staat om met deze technologie te experimenteren.
De gerepliceerde stemmen zijn nauwelijks van echt te onderscheiden. Soms zijn er kleine fouten in de uitspraak van bepaalde woorden of klinkt het accent niet helemaal juist. Met enige nabewerking blijkt het echter goed mogelijk om kenmerkende stemmen zoals die van Femke Halsema, Koning Willem-Alexander of historicus Maarten van Rossem nauwkeurig na te bootsen.
Ook tijdens een uitzending op Radio 1, waar ik met presentator Benji Heerschop sprak, liet ik een gerepliceerde versie van zijn eigen stem horen.
Bij het horen van hun eigen gerepliceerde stem ervaren mensen vaak eerst verwarring, gevolgd door een mix van bewondering voor de kwaliteit en angst voor het potentieel misbruik ervan. Immers, de technologie stelt iemand in staat om alles te zeggen met hun stem. De reactie op het horen van andermans stem neigt vaak naar het luchtige en lacherige, vooral als de gesproken woorden niet lijken te passen bij de persoon in kwestie. De huidige staat van deze technologie maakt al een diepe indruk en zal ongetwijfeld verder evolueren. De reacties van luisteraars op AI-gegenereerde stemmen roepen associaties op met het ‘uncanny valley‘-fenomeen. Hierbij voelt een bijna menselijke robot of stem ongemakkelijk aan, omdat het net niet helemaal menselijk is.
Wat zijn de mogelijke toepassingen van stemreplicatietechnologie?
Deze indrukwekkende technologische doorbraak, die lijkt op iets uit een sciencefictionfilm, biedt diverse praktische mogelijkheden. Beroemdheden zouden bijvoorbeeld de rechten van hun stem na hun dood kunnen verkopen. Naarmate de technologie zich ontwikkelt, is het zelfs denkbaar dat stemacteurs vervangen worden. De technologie herinnert ook aan een aflevering van ‘Black Mirror’, waarin een dierbare wordt gerecreëerd op basis van oude gegevens. Ongetwijfeld zal stemreplicatie ook hiervoor worden ingezet. Naar mijn mening zijn er meer nuttige toepassingen te bedenken voor generatieve modellen die tekst of afbeeldingen produceren dan voor modellen gericht op spraakreplicatie. De keerzijde van stemreplicatie die breed toegankelijk is voor allerlei soorten gebruik is naar mijn inzien groter dan de mogelijke voordelen die we eruit kunnen halen.
Mag het?
Het ongeautoriseerd gebruik van iemands stem om een boodschap te verkondigen zonder hun medeweten roept juridische vragen op. Bij afbeeldingen bestaat er zoiets als portretrecht, waarmee men onrechtmatig gebruik van eigen portret kan aanvechten. De situatie omtrent stemmen, gegenereerd door deze technologie, lijkt echter nog een grijs gebied. Er is momenteel geen duidelijke wetgeving die het gebruik van AI-gegenereerde stemmen reguleert zoals dat bij afbeeldingen het geval is. Desondanks heb ik ervoor gekozen de voorbeelden in dit artikel te delen. Dit is om duidelijk te maken hoe eenvoudig en realistisch de stemmen zijn die met deze technologie gecreëerd kunnen worden. Het is belangrijk om het publiek bewust te maken van de mogelijkheden en risico’s van deze technologie, zodat er een geïnformeerde discussie kan plaatsvinden over de toekomstige regulering ervan.
Fraude
De snelle ontwikkeling van stemreplicatietechnologie brengt inderdaad een reëel risico voor oplichting met zich mee. Een voorbeeld hiervan is een incident waarbij de stem van Ali Niknam, CEO van Bunq Bank, werd nagemaakt in een poging tot fraude. Gelukkig herkende een oplettende medewerker de fraudepoging op tijd. Het risico wordt echter groter als deze techniek de komende maanden in handen valt van bijvoorbeeld WhatsApp-fraudeurs. Zij zouden de technologie kunnen gebruiken om stemmen van naasten na te maken en paniekerige voicemailberichten te sturen met verzoeken om geld over te maken. Vooral voor ouderen, die mogelijk minder bekend zijn met de mogelijkheden van stemreplicatie, vormt dit een groot gevaar. Dit onderstreept de noodzaak voor bewustwording en educatie over deze technologie, evenals het ontwikkelen van nieuwe beveiligingsmaatregelen en wetgeving om misbruik tegen te gaan.
Nepnieuws
In 2024, wanneer de helft van de wereldbevolking gaat stemmen, is de invloed van nepnieuws op de beslissingen van kiezers gevaarlijker dan ooit. De rol van stemreplicaties in deze context is niet te onderschatten. Op sociale media zullen waarschijnlijk talrijke fragmenten met stemmen van politici circuleren die authentiek lijken, maar in werkelijkheid nooit hebben plaatsgevonden. Het belang van betrouwbare nieuwsbronnen kan in deze tijd niet genoeg benadrukt worden.
De fragmenten die ik hieronder presenteer, zijn voorbeelden van dergelijk nepnieuws, gecreëerd om te demonstreren hoe eenvoudig het is om misleidende informatie te produceren. Ze dienen als een waarschuwing voor de kracht van technologie en de noodzaak van kritisch denken en fact-checking in het digitale tijdperk. Door aandacht te vestigen op deze kwesties, hoop ik bij te dragen aan een groter bewustzijn en een beter geïnformeerde bevolking, vooral in tijden van verkiezingen en politieke besluitvorming.
Mijn dringende advies aan de overheid is om met spoed campagnes op te zetten die het publiek bewust maken van de gevaren van stemreplicatietechnologie. Hoewel ik aarzelde om dit artikel te schrijven uit angst dat het misbruik zou kunnen stimuleren, voelde ik toch de noodzaak om dit te doen. Het is een onvermijdelijke realiteit dat deze technologie binnen enkele maanden op grote schaal zal worden ingezet voor criminele doeleinden; het proces is reeds in gang gezet. Het zou ideaal zijn als de bestaande wetgeving kan worden aangepast of toegepast om misbruik van stemreplicatie te voorkomen en aan te pakken. Daarnaast moeten we ons ernstig afvragen of het algemeen beschikbaar maken van deze technologie wel wijs is. Wellicht is een uitgebreider verbod nodig om misbruik te voorkomen en de integriteit van onze informatie en communicatie te waarborgen.
Dit artikel is onderdeel van een serie rondom mijn boek “De AI-Revolutie: Hoe kunstmatige intelligentie de maatschappij gaat veranderen (en daar nu al mee bezig is)”, het boek is te koop in de betere boekhandel en online te bestellen. In dit boek duik ik dieper in de invloed van AI op onze toekomst en hoe we als samenleving de juiste koers kunnen bepalen in deze nieuwe, spannende tijd.