Hoewel GPT-3.5 en Mixtral er niet in slaagden hun versterkerfunctie op deze manier te verbeteren, vertoonde GPT-4 bescheiden verbeteringen in zijn zaadversterker over opeenvolgende generaties. In een zeer klein aantal gevallen (minder dan 0,5 procent) schakelde de optimalisatiefunctie een ‘sandbox’-signaal uit dat bedoeld was om de mogelijkheden ervan te beperken, wat het potentieel van zelfvergrotende AI benadrukt om ingebouwde beveiligingen te wijzigen.
“Aangezien de taalmodellen zelf niet zijn veranderd, is dit geen volledig recursieve zelfoptimalisatie”, merkten de onderzoekers op. “Het laat echter zien dat het moderne taalmodel, GPT-4 in onze experimenten, in staat is code te schrijven die zichzelf zelfverbetering mag noemen.”
Hoog risico, hoge beloning
Deze voorbeelden schetsen eigenlijk alleen maar het oppervlak van wat een belangrijke onderzoeksfocus is geworden op zelfverbetering op het gebied van AI. Google Deepmind, MicrosoftEn appel Er zijn soortgelijke artikelen gepubliceerd waarin dit concept wordt onderzocht talrijk academisch Laboratoria. Aan de PR-kant: Satya Nadella van Microsoft Ik sprak onlangs “Itereren…om AI te gebruiken om AI-tools te bouwen om betere AI te bouwen.”
Microsoft-CEO Satya Nadella zegt dat de AI-ontwikkeling wordt geoptimaliseerd via het o1-model van OpenAI en een iteratieve fase is ingegaan: “We gebruiken AI om AI-tools te bouwen om betere AI te bouwen.” pic.twitter.com/IHuFIpQl2C
– Tsarathostra (@tsarnik) 21 oktober 2024
Bij al dit onderzoek zijn sommige waarnemers bezorgd over de mogelijkheid van zelfversleutelende AI-systemen die snel onze intelligentie en ons vermogen om ze te controleren overtreffen. In reactie op het onderzoek van Anthropic in de Artificial Intelligence Newsletter, Dave Edwards Hij benadrukte de zorg:
Honderden jaren lang is het vermogen om zichzelf te verbeteren van fundamenteel belang geweest voor ons begrip van wat het betekent om mens te zijn, en voor ons vermogen om als individu en als groep zelf te bepalen en betekenis te creëren. Wat betekent het dan dat mensen niet langer de enige zichzelf verbeterende wezens of dingen in de wereld zijn? Hoe zullen we de ontbinding van dit begrip van ons exceptionisme begrijpen?
Op basis van het tot nu toe uitgevoerde onderzoek zijn we echter misschien niet zo dicht bij het soort ‘AI-doorbraak’ als sommige waarnemers denken. in Februari berichtJim Fan, senior onderzoeksdirecteur bij Nvidia, benadrukte dat zichzelf versterkende modellen in onderzoeksomgevingen doorgaans na drie iteraties een ‘verzadigingspunt’ bereiken. Vervolgens hebben ze, in plaats van zich te richten op superieure intelligentie, de neiging om bij elk opeenvolgend patroon een afnemend rendement te laten zien.
