Gemini Ultra, de nieuwe AI van Google, zou slimmer kunnen zijn dan OpenAI’s GPT-4

• Google onthulde deze week Gemini, zijn concurrent van OpenAI’s GPT-4.
• Google zegt dat Gemini beter presteert dan GPT-4 op het gebied van wiskunde, programmeren en vakkennis op het meest geavanceerde niveau.
• Google zegt ook dat dit het eerste model is dat experts op menselijk niveau koppelt in een test over 57 vakgebieden.

deze week, Google heeft het sterrenbeeld Tweelingen onthuld, Dat klinkt al als een angstaanjagend slimme concurrent van OpenAI’s GPT-4.

Gemini bestaat uit drie verschillende modellen die variëren in formaat en capaciteit. Het meest geavanceerde model, de Gemini Ultra – die nog niet beschikbaar is voor het publiek, maar volgens Google is ontworpen voor ‘zeer complexe taken’ – verslaat de slimmeriken. GPT-4 Op verschillende gebieden, van kennis van onderwerpen als geschiedenis en recht tot het maken van code in Python tot taken die meerstapsdenken vereisen, zei Google: advertentie.

Google zei het Gemini heeft beter gepresteerd dan GPT-4 In de massale multi-task taalbegriptest, of MMLU, een van de meest populaire manieren om de kennis en probleemoplossende vaardigheden van AI-modellen te meten.

Je kunt het vergelijken met ‘Acceptatietests voor AI-modellen’ van Kevin Rose Hij zei Op de technologiepodcast Hard Fork van de New York Times. De MMLU-test is echter iets geavanceerder dan een typische voorbereidingstest op de universiteit. Het omvat 57 onderwerpen, waaronder wiskunde, natuurkunde, geschiedenis, recht, geneeskunde en ethiek, om mondiale kennis en probleemoplossend vermogen te testen, aldus de aankondiging van Google.

Gemini Ultra scoorde 90% in MMLU, terwijl GPT-4 volgens Google 86,4% scoorde.

Maar misschien wel de meest indrukwekkende prestatie van Gemini Ultra is dat het ook het eerste model is dat beter presteert dan menselijke experts bij MMLU. Google zei in een technisch rapport dat menselijke experts ongeveer 89,8% scoorden. een verslag Op Tweelingen.

“Ik denk dat als je twee of drie jaar geleden terug zou gaan en AI-onderzoekers zou vertellen dat Google een model zou hebben dat 90 procent zou scoren op MMLU, dat dat beter is dan het soort standaarddrempel voor menselijke experts, dan zouden ze hebben gezegd: ‘ Nou, dat is AGI, ” zei Rose. “. AGI, of kunstmatige algemene intelligentieis een hypothetische vorm van kunstmatige intelligentie die complexe menselijke vermogens zoals gezond verstand en bewustzijn kan verwerken.

Volgens Google versloeg de GPT-4 de Gemini Ultra met enkele procentpunten in een beoordeling van het redeneervermogen bij alledaagse taken.

Maar een voordeel dat Google zegt dat de Gemini heeft ten opzichte van andere modellen is dat hij van nature multimedia is, wat betekent dat hij van de grond af aan is ontworpen om verschillende soorten gegevens te verwerken, van tekst tot audio tot code tot afbeeldingen en video. Andere multimodale modellen zijn gemaakt door modellen met alleen tekst, alleen beeld en alleen audio op een “suboptimale manier” samen te voegen, “zei Oriol Viñales, vice-president onderzoek bij Google’s DeepMind, in een video waarin Gemini wordt aangekondigd.

Als gevolg hiervan zegt Google dat het ontwerp van Gemini ervoor zorgt dat de invoer beter wordt begrepen dan de huidige multimediamodellen. Dat geldt ook voor de onderzoekers achter het SemiAnalogy-blog Gemini zal GPT-4 waarschijnlijk “verpletteren”. Van pure rekenkracht.

Hoewel de Gemini Ultra zeker hoge verwachtingen heeft gesteld van zijn komst, is de jury er nog steeds niet uit hoe de drievoudige modellen van Gemini zullen presteren ten opzichte van OpenAI, dat al een voordeel heeft op het gebied van consumentenbewustzijn.

vroeg Feedback over de minder geavanceerde Gemini Pro, toegankelijk via Google’s chatbot Bard, was positief. Het model had echter ook problemen met de nauwkeurigheid en hallucinaties. Ze vroeg zelfs mensen om het te doen Ga naar Google voor antwoorden op controversiële vragen.

Google en OpenAI hebben niet gereageerd op een verzoek om commentaar van Business Insider.