Apple wil dat AI rechtstreeks op zijn apparaten draait in plaats van in de cloud

Het laatste onderzoek van Apple naar het uitvoeren van grote taalmodellen op smartphones levert het duidelijkste teken tot nu toe dat de iPhone-maker van plan is zijn rivalen in Silicon Valley in te halen op het gebied van generatieve kunstmatige intelligentie.

Het artikel heeft de titel “LLM in een flitsbiedt “een oplossing voor het huidige computationele knelpunt”, schreven de onderzoekers.

Hun aanpak “maakt de weg vrij voor efficiënte gevolgtrekkingen over LLM’s op apparaten met beperkt geheugen”, zeiden ze. Heuristieken hebben betrekking op de manier waarop grote taalmodellen, de grote dataopslagplaatsen die applicaties als ChatGPT ondersteunen, reageren op vragen van gebruikers. Chatbots en LLM’s draaien doorgaans in enorme datacenters die veel meer rekenkracht hebben dan een iPhone.

Het onderzoek werd op 12 december gepubliceerd, maar kreeg meer aandacht na Hugging Face, een populaire site waar AI-onderzoekers hun werk kunnen laten zien. Markeer het Woensdag laat. Dit is Apple’s tweede paper over generatieve AI deze maand, en volgt op eerdere stappen om modellen voor het genereren van afbeeldingen, zoals Stable Diffusion, op aangepaste chips te laten draaien.

Fabrikanten van apparaten en chipmakers hopen dat nieuwe AI-functies zullen helpen de smartphonemarkt nieuw leven in te blazen, die volgens Counterpoint Research het slechtste jaar in tien jaar had, met een daling van het aantal leveringen naar schatting met 5 procent.

Ondanks de lancering van een van de eerste virtuele assistenten, Siri, in 2011, bleef Apple grotendeels buiten de golf van opwinding rond generatieve AI die Silicon Valley overspoelde in het jaar na OpenAI’s lancering van zijn chatbot ChatGPT. Velen in de AI-gemeenschap zijn van mening dat Apple achterloopt op zijn Big Tech-rivalen, ondanks de aanstelling van John Giannandrea, Google’s AI-topman, in 2018.

Terwijl Microsoft en Google zich grotendeels hebben gericht op het leveren van chatbots en andere generatieve AI-diensten via internet vanaf hun enorme cloud computing-platforms, suggereert Apple’s onderzoek dat ze zich in plaats daarvan zullen concentreren op AI die rechtstreeks op een iPhone kan draaien.

De rivalen van Apple, zoals Samsung, bereiden zich voor om volgend jaar een nieuw type “AI-smartphone” te lanceren. Counterpoint schat dat er in 2024 meer dan 100 miljoen AI-gerichte smartphones zullen worden verkocht, waarbij 40 procent van de nieuwe apparaten in 2027 over dergelijke mogelijkheden zal beschikken.

Het hoofd van de grootste fabrikant van mobiele chips ter wereld, Qualcomm CEO Cristiano Amon, voorspelde dat het introduceren van kunstmatige intelligentie op smartphones een geheel nieuwe ervaring voor consumenten zou creëren en de dalende verkoop van mobiele telefoons zou kunnen omkeren.

“Je zult begin 2024 hardware zien verschijnen met een aantal generatieve gebruiksscenario’s voor AI”, vertelde hij de Financial Times in een recent interview. “Naarmate deze dingen groter worden, beginnen ze een tastbaar verschil te maken in de gebruikerservaring en nieuwe innovatie mogelijk te maken die het potentieel heeft om een ​​nieuwe upgradecyclus in smartphones te creëren.”

Hij voegde eraan toe dat meer geavanceerde virtuele assistenten kunnen anticiperen op de acties van gebruikers, zoals het verzenden van sms-berichten of het plannen van een vergadering, terwijl de apparaten ook in staat zullen zijn tot nieuwe soorten fotobewerkingstechnieken.

Deze maand onthulde Google een versie van zijn nieuwe Gemini LLM-software die “native” op Pixel-smartphones zal draaien.

Het uitvoeren van het enorme AI-model dat Google’s ChatGPT of Bard op een persoonlijk apparaat aanstuurt, brengt enorme technische uitdagingen met zich mee, omdat smartphones niet over de enorme computerbronnen en kracht beschikken die beschikbaar zijn in een datacenter. Het oplossen van dit probleem zou kunnen betekenen dat AI-assistenten sneller reageren dan wanneer ze vanuit de cloud zouden doen en zelfs offline kunnen werken.

Ervoor zorgen dat vragen op het apparaat van een individu worden beantwoord zonder dat gegevens naar de cloud worden verzonden, levert waarschijnlijk ook privacyvoordelen op, iets wat de afgelopen jaren kenmerkend is voor Apple.

“Ons experiment is bedoeld om de efficiëntie van gevolgtrekkingen op persoonlijke apparaten te verbeteren”, aldus de onderzoekers. Apple heeft zijn aanpak getest op modellen als de Falcon 7B, een kleinere versie van de open source LLM-software die oorspronkelijk is ontwikkeld door het Technology Innovation Institute in Abu Dhabi.

Het optimaliseren van MBA om te werken op apparaten die op batterijen werken, is een groeiend aandachtspunt voor AI-onderzoekers. De academische artikelen vormen geen directe indicatie van de manier waarop Apple van plan is nieuwe functies aan zijn producten toe te voegen, maar bieden wel een zeldzame inkijk in zijn geheime onderzoekslaboratoria en de nieuwste technische prestaties van het bedrijf.

“Ons werk biedt niet alleen een oplossing voor het huidige computationele knelpunt, maar schept ook een precedent voor toekomstig onderzoek”, schreven de Apple-onderzoekers in de conclusie van hun artikel. “Wij zijn van mening dat naarmate LLM-studenten in omvang en complexiteit blijven groeien, benaderingen zoals dit werk essentieel zullen zijn om hun volledige potentieel in een breed scala aan apparaten en toepassingen te benutten.”

Apple reageerde niet onmiddellijk op een verzoek om commentaar.