Er wordt op dit moment steeds meer gesproken over Artificiële Intelligentie: AI. Dat is ook niet zo gek, want de mogelijkheden met AI en machine learning zijn eindeloos, óók voor creatief werk. Je kunt videobeelden zoeken en monteren alsof je een tekst wijzigt in Word, illustraties genereren, alternatieve krantenkoppen bedenken of automatisch transcripties maken van tientallen geluidsopnames tegelijk. Het boek The Art of AI is dé praktische en toegankelijke introductie in machine learning en kunstmatige intelligentie. Het legt je alles uit over AI, zonder dat je daar programmeerkennis voor nodig hebt. Je leert wat je er allemaal mee kunt, maar ook wat de valkuilen zijn. Het boek biedt een overzicht en uitleg van meer dan zeventig applicaties die je assisteren bij de verschillende fasen van creatieve producties. Het bevat twaalf interviews met AI-pioniers uit de creatieve industrie, waaronder onderstaand interview met Janne Spijkervet, muziekproducer en AI-onderzoeker.

‘Hoe je met technologie de creativiteit en drive van mensen kunt inspireren. Dat vind ik interessant.’ Deze uitspraak tekenen we op tegen het eind van het interview met Janne Spijkervet, een Nederlandse researchscientist die woont in Londen en mee heeft gewerkt aan de Nederlandse inzending voor het AI Songfestival. Op dit moment werkt ze bij het Creative AI Lab van het Chinese bedrijf ByteDance (het moederbedrijf van TikTok). Daar zit ze in het SAMI-team, dat staat voor ‘speech, audio & music intelligence’. Als rode draad in haar leven onderzoekt en bouwt Janne creatieve toepassingen van AI en machine learning voor spraak, geluid en muziek. ‘Het grappige van AI is dat het eigenlijk is geprogrammeerd om dingen te doen die niet toevallig zijn.Wat ik bij muziek merk: het interessante is altijd de uitzondering. Nieuwigheid prikkelt ons als mens, iets wat we niet konden voorspellen.’ (Dit interview is op persoonlijke titel.)

Als we Janne spreken over technologie, creativiteit en AI, zo vlak voor Kerst in 2021, is ze even terug in Nederland voor familiebezoek. Ze videobelt vanuit de snoepfabriek van haar vader in Oosterhout, waar nog altijd wijnballen, zuurstokken en andere oud-Hollandse lekkernijen worden geproduceerd ‘voor die echte Kermisexperience’.

Janne, AI en muziektechnologie

Naast hobby’s als voetballen en componeren – ze was ooit middenvelder bij FC Oosterhout – begon Janne op haar achtste met drummen. Voetballen doet ze niet meer, maar muziek en nieuwe technologie hebben nog altijd haar nieuwsgierigheid. Ze is al zo lang ze zich kan herinneren bezig met instrumenten en muziek maken. Zo componeerde ze in het verleden zelfs stukken voor het Metropole Orkest. Lachend zegt ze: ‘Ik wilde zelfs filmcomponist worden, maar ben een beetje ge-sidetracked door AI.’

Janne kwam voor het eerst in aanraking met AI tijdens onderzoek voor haar bachelorscriptie muziektechnologie. Ze ontdekte dat iemand bezig was met het schrijven van muziekstukken in de stijl van oude componisten zoals Chopin, Brahms en Bach. Dat vond Janne dermate interessant, dat ze dacht: ‘Ik ga proberen ook zoiets te maken. En het verbaasde me dat dat na maanden zwoegen ook ongeveer lukte. Het bracht me aan het denken: wat is componist zijn, wat is muziek maken, wat is muziek überhaupt, als een AI dat ook tot zover kan?’

‘Golden Age’ voor muziek en technologie

Qua muziek en technologie is het volgens Janne een soort ‘Golden Age’ op het moment: ‘Dat begon heel vroeger met het opnemen, registreren van geluid. De rockmuziek, in de jaren zestig, had de elektrische gitaar en nieuwe genres die zich ontwikkelden. De jaren tachtig hadden de synthesizers. En nu zijn we dus met AI aan het klooien. En dan hebben we ook weer een deel van de mensen die zegt er niks van te moeten hebben, zoals destijds mensen niets van The Beatles of The Stones moesten hebben.’

Na de studie muziektechnologie besloot Janne om een master AI te gaan doen. Met dat laatste diploma op zak belandde ze in november 2020 bij ByteDance en was ze in datzelfde jaar teamlid van de Nederlandse AI Songfestivalafvaardiging Can AI Kick It?

Een van de grote uitdagingen die Janne graag aanpakt, of het nu voor haar werk is, voor een tv-programma of wedstrijd: ‘hoe kunnen we mensen in staat stellen om zelf muziek te maken – zelfs als je daar niet veel ervaring mee hebt? ‘Bij TikTok past dat ongetwijfeld goed bij twee uitgangspunten die het bedrijf hanteert: ‘creativiteit inspireren’ en ‘joy’. Het zal geen verrassing zijn dat ze daar goed op haar plek is. Janne: ‘Bijna alles aan TikTok is AI. Het enige menselijke zijn de mensen die erop zitten.’

Spreken als een Star Wars- of Marvel-hero

Op TikTok zijn video’s die door gebruikers worden voorzien van voice-overs een veelgebruikte vorm. Een van de recente projecten waar Janne met haar team aan heeft gewerkt is een tekst-naar-spraaktoepassing in opdracht van Disney+. Met de toepassing kun je binnen TikTok zelf een tekst typen die vervolgens wordt uitgesproken met het typische stemgeluid van je favoriete personages uit de Disney-stal, zoals Lilo & Stitch of C3PO uit Star Wars

Het was de uitdaging voor Janne om met relatief weinig data een Disneystem na te maken die alles kan zeggen. Denk dan aan alle woorden in het Engels, andere talen en namen van mensen. Maar ook weer niet echt alles; zo moest ook detectie van hate speech en verboden woorden worden ingebouwd.

Praktische toepassingen uit R&D

Janne is een echte R&D’er. Het is noodzakelijk om de laatste ontwikkelingen binnen haar vakgebied nauwgezet bij te houden: ‘De omloop in AI is ontzettend snel – dingen van vorig jaar worden nu al verslagen door een nieuwe methode. Daarom zijn we ook veel bij conferenties zoals ICML, ICLR en NeurIPS (een van de meest prestigieuze op AI-gebied, red.) waar state-of-theart AI-onderzoek en -toepassingen worden gepresenteerd en bediscussieerd.’

’ Het is al met al een puzzel om in dit vakgebied actueel te blijven’

Haar eigen onderzoek en ook dat van anderen – bedrijven, non-profits en universiteiten – gaat het hele jaar door. Janne neemt er als bezoeker aan deel, maar dient met haar team ook zelf papers in. Het is al met al een puzzel om in dit vakgebied actueel te blijven, vertelt Janne: ‘Je hebt gewoon niet zo heel vrijdagmiddagen om zich in twee à drie uur bij te spijkeren. Ook Google Scholar Alerts en Twitter zijn goede bronnen om in de gaten te houden: ‘Als je daar de juiste mensen en labs volgt, heb je op een gegeven moment een nieuwsfeed voor AI-onderzoek. Heel gaaf wat je dan voorbij ziet komen’.

De manier waarop Janne doorgaans werkt, is vrij organisch. Het proces van ontwikkeling kan op verschillende manieren gestart worden. Bij haar werkgever krijgen productmanagers soms ‘vragen vanuit de business’ (zoals bij de Disney TTS-campagne) en die koppelt ze dan met technologie. Een andere keer wordt er door een partij geïnformeerd of er bepaalde mogelijkheden onderzocht kunnen worden en als ze tijd en interesse heeft gaat Janne (al dan niet met een team) aan de slag.

Hackathons om te experimenteren

Een beproefde manier om nieuwe dingen uit te proberen en tot toepassingen te komen zijn hackathons: gerichte events waarbij ontwikkelteams binnen zeer korte tijd (soms 24 of 48 uur) een werkend product moeten bouwen en te demonstreren aan publiek. Janne noemt CapCut – ‘een van de meest populaire video-editingapps in de Play en App Store’ – als voorbeeld van een geslaagd resultaat dat is ontwikkeld tijdens een interne hackathon bij ByteDance.

Een ander idee dat tijdens een hackathon werd uitgeprobeerd met een audioteam is een functie waarmee je spraak (of het geluid van een schaap) kunt laten omzetten in een instrument of kattengeluid. Janne moest daarvoor midden in de nacht aan een aantal collega’s in Shanghai in half-Chinees en half-Engels een demo tonen. ‘Mensen daar vonden het blijkbaar zo leuk dat ze hebben gezegd: ‘we willen dit wel hebben.’ En zo is dit idee, ontstaan uit een hackathon, vlak voor Kerst uitgekomen als feature. Op de newsroomsite van TikTok staat bij 21 december 2021: “Met onze laatste update kunnen mensen elk geluid of stem uit hun video’s laten klinken als een dier of muziekinstrument. We kijken ernaar uit om deze tool verder te ontwikkelen en meer geluidseffecten toe te voegen. Voor nu zijn we benieuwd hoe mensen de effecten laten schitteren.’

Kijk op technologie

Als we ergens halverwege het interview vragen wat technologie betekent voor Janne, antwoordt ze: ‘Ik denk daar heel veel over na. Aan de ene kant is het heel interessant dat technologie zo vervlochten is met ieders dagelijks leven. Dat er op een verfrissende manier met AI wordt omgegaan, na search en recommendations, nu ook bij entertainment. ‘Want, zo stelt ze vast, ‘AI is allemaal niet nieuw hè, aanbevelingen bestaan al jaren. Het zijn de mensen die op het platform zitten die het succesvol maken. Dat vind ik interessant: hoe je met technologie de creativiteit en drive van mensen kunt inspireren. Dat je een stuk technologie maakt dat iets in mensen losmaakt. Of dat nu creativiteit is, of iets grappigs. Dat vind ik wel bijzonder.’

Angst voor AI

Naast die positieve rol van technologie – het aanwakkeren van inspiratie en het faciliteren van creativiteit – ziet Janne ook angst bij sommige artiesten en creatieve makers. Janne: ‘Ik probeer veel met artiesten samen te werken en ‘Denk hierbij volgens Janne dan aan kunstmatig gegenereerde lyrics, akkoorden en melodieën. ‘Daar wordt heel wisselend op gereageerd. De een staat er heel open voor en de ander slaat dicht, is verzadigd door technologie.’

’Straks kijken we met stomheid geslagen terug: waarom zeiden we ‘nee’ tegen deze ontwikkelingen?!’

Hoe ze op die verschillende houdingen reageert? ‘Je moet wel door. Je wordt aan alle kanten ingehaald. Als kunstenaar, muzikant of artiest probeer je altijd iets nieuws: om iemand te prikkelen, of jezelf. Iets te doen met je publiek. Je moet die verandering soms gewoon omarmen. Jezelf blijven uitdagen, de ander blijven uitdagen. En je moet bijblijven. Janne geeft daarvan een voorbeeld: ‘In de jaren zestig waren mensen ook vol onbegrip over computers. En nu gaan al die video’s viral van die interviews met mensen die tegen mobiele telefoons waren, eind jaren negentig. En dat is het nu ook: dan kijken we met stomheid geslagen terug; waarom zeiden we ‘nee’ tegen deze ontwikkelingen?!’

De toekomst van creativiteit

Wat betreft de aankomende jaren ziet ze als AI-wetenschapper een aantal belangrijke ontwikkelingen die je zowel beangstigend als hoopvol kunt beschouwen. ‘Ik vergelijk de tools weleens met een soort Iron Man-pak, waarmee je sneller kunt werken met je ideeën. Zoals Apple en de Macbook de designwereld op z’n kop heeft gezet – de hele printwereld werkt nu digitaal op de computer – dat zullen we de komende tien à vijftien jaar ook meemaken met AI. Dat de tools een soort extensie van je eigen arm zijn, in creatieve zin.’

Zo ziet Janne dat er al door computers geschreven muziek voor commercials gebruikt wordt. ‘Om de eenvoudige reden dat dat goedkoper en vooral sneller is dan dat een mens dat schrijft. ‘Aan de andere kant denk ik ook wel dat AI ook zelf een bepaalde creativiteit heeft. Ik schrijf ook programma’s bijvoorbeeld, die zelf muziek maken. En ik zie ook dat er veel creatieve beroepen minder werk zullen krijgen omdat bepaalde taken zullen worden overgenomen door AI. Dat zal steeds meer gebeuren.’

Beelden genereren

Janne noemt als voorbeeld een AI-techniek waarmee je met puur het typen van woorden beelden kunt genereren (prompt engineering). ‘Je moet je voorstellen dat er straks een productmanager een tekst kan invoeren: ik wil dit logo, met dit lettertype en deze kleuren, en dan krijgt ’ie een kant-en-klaar logo. Dan is de vraag: heb ik nog een designer nodig als mkb’er? Het begint met het basic segment, mensen die snel een website nodig hebben, ‘een AI’tje’. Dat zal alleen maar groter en beter worden.’

’Is het het nog waard om een band in te huren, als we dat kunnen invullen door AI?’

Op creativiteit zal niet worden bezuinigd, maar veel professionele content is de laatste jaren wel heel erg veranderd, legt Janne uit: ‘Bij media gaat het nu om reclamespotjes van vijf of tien seconden, zoals bij YouTube Shorts of TikTok-ads, hele korte blitzes; short form content, short form music. De grote vraag is dan: is het het nog waard om daar een band voor in te huren of een orkest, om dat te doen? Als we dat kunnen invullen door AI? De vraag hierbij is: hebben die vijf of tien seconden genoeg impact? Heel veel componisten hebben hier werk aan. Ik denk dat een deel van het werk zal gaan opdrogen. Ik denk dat over tien jaar zeker heel veel van die muziek gecomponeerd gaat worden door AI. En dat is best een zwaarwichtig iets, want dit is best een grote inkomstenbron voor componisten.’

Wat je als maker kunt of moet gaan doen

Janne lacht als ze antwoordt: ‘Een master in artificial intelligence – zoals ik zelf heb gedaan – is natuurlijk van de zotte om aan te raden. ‘Het ligt er zijn en wat je achtergrond is, zegt ze: ‘Als je wilt weten wat de rol van AI voor de overheid is of voor een mediabedrijf, kijk dan eens online. Als programmeur kun je dan online starten bij Stanford of MIT, met gratis Computer Science- en AI-lessen.’ Waar je moet beginnen als je geen programmeerachtergrond hebt, vindt Janne lastiger te adviseren – ‘ik ben echt heel technisch”, alhoewel ze hier wel ervaring mee heeft: ‘Ik heb wel eens componisten van het conservatorium een stuk Python-code voorgelegd en dat ging best aardig, dat ze dat even zagen, die code. Maar voor de rest is het voor hen toch abracadabra.’

Het idee van ‘algoritmisch leren denken’ blijft volgens Janne vaag als je het niet zelf probeert toe te passen. Sowieso vindt ze dat een programmeertaal als Python al op de middelbare scholen moet worden aangeboden. ‘Dat kan zeker geen kwaad. Het is een fijne toegankelijke taal, zit goed in elkaar.’ Wil je toch met AI aan de slag zonder te willen programmeren, dan is Jannes advies: ‘Spar met een echte AI’er om naar al die nuances te kijken.’ Ze zegt er soms van te schrikken als ze leest of hoort hoe bij sommige organisaties een model is ontwikkeld zonder besef van onbewuste keuzes die je maakt tijdens het ontwerp van je model.

En als je wel wilt programmeren, dan kun je – net als Janne soms doet – gebruikmaken van een AI-assistent om code mee te schrijven, zoals Copilot van GitHub. Je ontwikkelt hier geen hele modellen mee, maar het kan je wel helpen met programmeren. Janne: ‘Dat is heel fijn, mijn vingers vinden dat heel prettig.’

Synthetisch of succesvol? Een vals dilemma

‘We zijn natuurlijk nog heel erg aan het experimenten met AI. ‘Nieuwe genres en geluiden – dat komt allemaal nog volgens Janne. Met een druk op de knop een hele popsong van drie minuten laten creëren door AI? Volgens haar duurt dat nog vijf tot tien jaar. Maar belangrijker vindt ze de vraag: ‘Waarom? Waarom zou dat populair moeten zijn: een nummer van drie minuten van een robot op de radio? ‘Zelf weet ze het antwoord er ook niet zo goed op. ‘Ik zou het lastig vinden om verbinding te maken met een virtuele artiest. Voor mij is een artiest iets waar je een bijzonder menselijk contact mee hebt. Muziek ligt heel dicht bij mijn hart. Zelfs als maker van dit soort AI vind ik dat lastig. M’n jongere neefjes en nichtjes kunnen dat misschien wel.’

AI doet dingen die niet toevallig zijn…

‘Het grappige van AI is dat het eigenlijk is geprogrammeerd om dingen te doen die niet toevallig zijn. Wat ik bij muziek merk: het interessante is altijd de uitzondering. Bij AI proberen we altijd de oplossing te optimaliseren. En dat verrast niet: je weet natuurlijk al hoe het zit. Nieuwigheid prikkelt ons als mens, iets dat we niet konden voorspellen. ‘Janne vraagt zich af of je AI überhaupt kunt trainen om ‘iets nieuws, iets interessants, iets prikkelbaars te doen. De grap is dat dat afwijkt van hoe we die AI traditioneel trainen.’

Janne heeft nog een laatste gedachte over AI-systemen die zelf materiaal genereren, zoals beelden, verhalen of animaties. ‘Wij verzinnen dingen bij die gegenereerde beelden, zodat het sense maakt, dat het klopt in ons hoofd. En dat prikkelt omdat het net anders is dan onze verwachting. En dat is nooit de intentie geweest van die AI, die dacht: dit is de meest waarschijnlijke pixel op deze plek. ‘Om te besluiten: ‘Dat vind ik een interessante wisselwerking: hoe fluïde kan een AI gedefinieerd worden? In hoeverre zijn wij eigenlijk altijd nodig als mens om die verrassing te erkennen?’

HIER kun je een interview lezen met de schrijver van het boek The art of AI. Geïnteresseerd geraakt in AI en het boek van Laurens Vreekamp? Bestel het boek HIER bij Van Duuren Media. Over een van de mogelijkheden van Adobe Sensei, de AI van Adobe,  kun je HIER op het blog lezen. We schreven op dit blog ook nog over onze ervaringen met AI: over het uitwerken van interviews met Amberscript en over het schrijven van teksten met AI.