Het vermogen van ChatGPT om op elk gewenst moment chatantwoorden te geven op elke vraag, maakt de chatbot een nuttige bron voor uw informatiebehoeften. Ondanks het gemak, blijkt uit een nieuwe studie dat u ChatGPT misschien niet wilt gebruiken voor claims op het gebied van software-engineering.
Vóór de komst van AI-chatbots was Stack Overflow de go-to-resource voor programmeurs die advies nodig hadden voor hun projecten, met een vraag-en-antwoordmodel vergelijkbaar met ChatGPT.
Ook: Hoe u kunt voorkomen dat de nieuwe AI-trainingswebcrawler van OpenAI uw gegevens opneemt
Bij Stack Overflow moet je echter wachten tot iemand je vraag beantwoordt, terwijl dat bij ChatGPT niet het geval is.
Als gevolg hiervan hebben veel software-engineers en programmeurs zich met hun vragen tot ChatGPT gewend. Aangezien er geen gegevens zijn die aantonen hoe effectief ChatGPT is in het reageren op dit soort prompts, is de Purdue University-studie Onderzoek het dilemma.
Om te zien hoe goed ChatGPT reageert op prompts van software-engineering, hebben onderzoekers vragen voorgelegd aan ChatGPT 517 Stack Overflow en de nauwkeurigheid en kwaliteit van deze antwoorden onderzocht.
Ook: ChatGPT gebruiken om code te schrijven
Uit de resultaten bleek dat van de 512 vragen 259 (52%) van de antwoorden van ChatGPT onjuist waren en slechts 248 (48%) juist. Bovendien was 77% van de antwoorden uitgebreid.
Hoewel de antwoorden aanzienlijk onnauwkeurig waren, toonden de resultaten aan dat de antwoorden in 65% van de gevallen volledig waren en alle aspecten van de vraag behandelden.
Om de kwaliteit van ChatGPT-antwoorden verder te analyseren, vroegen de onderzoekers 12 deelnemers met verschillende niveaus van programmeerervaring om hun inzichten over de antwoorden te geven.
Ook: Het rode team van Microsoft houdt AI sinds 2018 in de gaten. Hier zijn vijf grote inzichten
Hoewel deelnemers in verschillende categorieën de voorkeur gaven aan Stack Overflow-antwoorden boven ChatGPT, zoals te zien is in de grafiek, slaagden deelnemers er in 39,34% van de tijd niet in om onjuiste antwoorden gegenereerd door ChatGPT correct te identificeren.
Volgens het onderzoek zorgden goed gearticuleerde antwoorden in ChatGPT-scores ervoor dat gebruikers onjuiste informatie in de antwoorden over het hoofd zagen.
“Gebruikers negeren onjuiste informatie in ChatGPT-antwoorden (39,34% van de tijd) vanwege de uitgebreide, goed gedetailleerde, menselijke inzichten in ChatGPT-antwoorden”, schreven de auteurs.
Ook: Hoe ChatGPT bestaande code kan herschrijven en verbeteren
Het genereren van ogenschijnlijk plausibele en onjuiste antwoorden is een belangrijk probleem bij alle chatbots, omdat hierdoor verkeerde informatie kan worden verspreid. Naast dit risico zouden de lagere nauwkeurigheidsscores voldoende moeten zijn om u te doen heroverwegen om ChatGPT te gebruiken voor dit soort claims.
‘Reader. Furious humble travel enthusiast. Extreme food scientist. Writer. Communicator.’
