Onderzoekers hebben een AI Pink Floyd-nummer onthuld dat is gemaakt van hersenscans van luisteraars

Behalve dat Pink Floyd geen van de muziek in de clip zong. In plaats daarvan werd het nummer ontworpen door een team van onderzoekers van de University of California, Berkeley, die keken naar de hersenactiviteit van meer dan twee dozijn mensen die naar het nummer hadden geluisterd. Deze gegevens werden vervolgens gedecodeerd door een machine learning-model en gereconstrueerd in geluid – de eerste keer dat onderzoekers een nummer konden recreëren op basis van neurale signalen.

Daarbij hopen wetenschappers op een dag vergelijkbare technologie te gebruiken om patiënten met spraakstoornissen te helpen communiceren met anderen – terwijl ze volgens een onderzoek ook meer gegevens verzamelen over hoe de hersenen geluid en muziek verwerken. gepubliceerd Dinsdag in het wetenschappelijke tijdschrift PLOS Biology.

“Muziek voegt de meest emotionele en melodische elementen toe aan spraak”, zegt Robert Knight, een neurowetenschapper aan de University of California, Berkeley en een auteur van de studie. “Dus begrijpen hoe ze in de hersenen worden verwerkt en hoe we ze kunnen decoderen, is echt als de eerste steen in de muur.”

Hoe hersengolven kunnen worden gebruikt om een ​​griezelig gelijkaardige versie van het nummer van Pink Floyd te creëren, is een proces dat in 2009 begon. hun hersens om drugsresistente aanvallen te lokaliseren – vrijwillig om hun hersenactiviteit vast te leggen tijdens het spelen van “Another Brick in the Wall, Part 1”.

De ogenschijnlijk alledaagse activiteit van het luisteren naar muziek is eigenlijk een complex proces. Geluiden, of liever trillingen die zich in de vorm van golven door de lucht verplaatsen, komen het binnenoor binnen, waar ze worden omgezet in een elektrisch signaal dat naar de hersenen wordt gestuurd, een elektrisch geleidend orgaan. Zodra een geluid de hersenen binnenkomt, stromen neuronen door verschillende delen om elke tekst, melodie en ritme te decoderen.

De elektroden die aan de hersenen van de patiënten waren bevestigd, gaven wetenschappers inzicht in het proces, zei Knight, waarbij hij de draden vergeleek met ‘pianotoetsen’.

“We proberen te ontcijferen hoe een pianotoets wordt geactiveerd door het geluid dat binnenkomt, in dit geval van Pink Floyd”, zei hij. “Dus nu hebben we al deze elektroden – ongeveer 92 per proefpersoon – en we nemen al deze gegevens om te zien hoe het ritme van een Pink Floyd-nummer wordt beïnvloed in elk van deze elektroden.”

Knight zei dat de beslissing om het nummer van Pink Floyd te gebruiken eenvoudig was. Hij zei dat elke patiënt die ze bestudeerden dol was op Pink Floyd. Knight voegde eraan toe dat ze “Another Brick in the Wall, Part 1” kozen – in plaats van het bekendere Part 2 – omdat het “een beetje rijker is aan de zang en harmonieën”.

Van 2009 tot 2015 werden veranderingen in de hersenactiviteit van 29 patiënten doorgesluisd naar een enorme dataset. Maar het project werd bijna tien jaar opgeschort, totdat een nieuwe postdoctoraal onderzoeker die in een band speelde, zich bij Knight voegde en aanbood het te ontcijferen.

Ludovic Pellet, een levenslange muzikant die nu hoofd computationele onderzoekswetenschapper is bij biotechbedrijf Inscopix, zei dat hij graag een project wilde leiden dat zijn twee passies combineerde. Toen hij begon met het analyseren van de bergen gegevens, zei hij dat hij iets “absoluut opmerkelijk” vond: toen de 16e noten van de slaggitaar van het lied werden gespeeld, ontstaken bepaalde delen van de slaapkwabben van de patiënt.

“Dit hebben we nog nooit eerder gezien”, zei Bilier.

Ze vestigden zich in een gebied van de hersenen net boven en achter het oor dat grotendeels verantwoordelijk is voor het verwerken van geluiden, bekend als de superieure temporale gyrus. Dit gebied – met name aan de rechterkant – was bijzonder actief toen patiënten naar een Pink Floyd-nummer luisterden, zei Bellier, wat erop zou kunnen wijzen dat de plek in de hersenen verantwoordelijk is voor het waarnemen van ritme.

“Als je een paar elektroden hebt, stop ze daar dan in”, voegde hij eraan toe. “Dit is het meest veelbelovende gebied voor het begrijpen van muzikale informatie.”

Vervolgens werden de gekraakte cijfers omgezet in muziek met behulp van kunstmatige intelligentie – een krachtig machine learning-model dat rekening hield met hoe de hersenen reageren op een reeks geluidsfrequenties. De patronen werden omgezet in een spectrogram, of een visuele weergave van geluidsfrequenties en hoe ze in de loop van de tijd veranderen, en vervolgens in een audiobestand dat veel leek op het originele Pink Floyd-nummer.

Knight en Pellier zeiden dat het onderzoek zou kunnen leiden tot nieuwe medische behandelingen voor degenen die hun communicatievermogen hebben verloren. Knight zei dat terwijl wetenschappers vooruitgang hebben geboekt bij het ontwikkelen van machines die hersensignalen in zang vertalen, spraakgenererende apparaten vaak een robotstem bevatten – en de nieuwe studie zou daar verandering in kunnen brengen.

“De muziek, met zijn complexe en krachtige emotionele en ritmische elementen, stelt ons in staat om die uitdrukking toe te voegen”, zei hij.

Pellet voegde eraan toe dat de studie ook de mogelijkheden opent om muziek te componeren door middel van gedachten en de weg vrijmaakt voor medische toepassingen zoals een “toetsenbord voor de geest” – of een machine die kan helpen bij het decoderen van de woorden die patiënten willen zeggen.

“Er zijn potentieel veel klinische toepassingen om muziek te begrijpen, afgezien van het feit dat het cool is om te doen,” zei Knight.

Hij voegde eraan toe dat de nummerselectie “de juiste keuze” leek te zijn, gezien de belangstelling die het onderzoek had gewekt sinds de publicatie ervan.

Maar, grapte hij, misschien moet Study de volgende keer opnieuw worden gemaakt met een nummer van Taylor Swift.