ChatGPT staat bekend om zijn vermogen om tekst te genereren die een menselijke conversatie weerspiegelt, waardoor het een algemeen aanvaarde tool is voor verschillende industrieën, waaronder digitale marketing.

Een recente studie zet echter vraagtekens bij het vermogen van het model om humor te genereren en te begrijpen, een sleutelcomponent bij het betrekken en verbinden met het publiek.

Onderzoek door Duitse onderzoekers Sophie Jentzsch en Kristian Kersting suggereert dat hoewel ChatGPT op sommige gebieden uitblinkt, het opmerkelijke beperkingen heeft als het gaat om het genereren van originele humor.

Gerecycled gelach: de kwestie van originaliteit

Een studie uitgevoerd door Cornell University heeft tot doel de vraag te beantwoorden: “Hoe beheert een kunstmatige-intelligentiemodel humor?”

De onderzoekers onderzoeken de originaliteit van door AI gegenereerde humor, het vermogen van ChatGPT om grappen te begrijpen en te vertellen, en het vermogen om humor te detecteren.

Het onderzoeksteam stelt in hun rapport:

“We ontdekten meer dan 90% van de gegenereerde monsters waren de dezelfde 25 grappen. Deze herhaling suggereert dat deze grappen niet oorspronkelijk zijn gemaakt, maar expliciet zijn geleerd en onthouden uit modeltraining.

De onderzoekers concludeerden dat deze reacties waarschijnlijk zijn geleerd en onthouden tijdens de training van het AI-model, wat wijst op een beperking in het vermogen van het model om originele humor te genereren.

In een rapport beschrijven onderzoekers de 10 meest gegenereerde grappen, waaronder klassiekers als “Waarom heeft de vogelverschrikker een prijs gewonnen? Omdat hij uitstekend was in zijn vakgebied.”

Naast het onthullen van de complexe manier waarop AI met humor omgaat, dient het onderzoek als een waarschuwing voor mensen die ChatGPT hopen te gebruiken om content met een humoristische twist te creëren.

De implicatie voor digitale marketeers die vertrouwen op AI voor het genereren van content is duidelijk, terwijl AI-modellen zoals ChatGPT vooraf aangeleerde patronen kunnen repliceren om grappen te maken, ontbreekt het aan originaliteit.

Ondanks de herhaling was een klein aantal van de gegenereerde antwoorden uniek. Ze zijn echter grotendeels gemaakt door elementen van verschillende bekende grappen te combineren en klopten niet altijd.

De grap vertellen: Beyond Surface Humor

De studie onderzocht verder het vermogen van ChatGPT om humor uit te leggen, wat een beter begrip van de structuur en implicaties van de grap vereiste.

Hoewel het model stilistische elementen zoals personificaties en woordspelingen kon deconstrueren en verklaren, vertoonde het beperkingen wanneer het werd geconfronteerd met meer onconventionele grappen.

Het team observeerde:

“ChatGPT heeft moeite om reeksen uit te leggen die niet in aangeleerde patronen passen. Het geeft niet aan wanneer iets niet grappig is of geen geldige verklaring heeft.”

In gevallen waarin ChatGPT geen grappige grappen kon identificeren, kwam het met plausibel klinkende verklaringen.

Voor marketeers die hun publiek willen betrekken door middel van genuanceerde humor, levert het uitsluitend vertrouwen op AI mogelijk niet de gewenste resultaten op.

Grapdetectie: de clou ontcijferen

Naast het genereren en vertellen van grappen, testte het onderzoeksteam het vermogen van ChatGPT om humor te detecteren.

Ze ontdekten dat hoewel het model grappen correct kan identificeren op basis van structuur, woordspeling en thema, het er niet in slaagde een zin als een grap te classificeren als deze slechts een van deze kenmerken heeft.

Dit onderstreept de afhankelijkheid van het model van aangeleerde patronen en het ontbreken van een meer omvattend begrip van humor.

Wat betekent dit voor marketeers?

Hoewel ChatGPT een revolutie heeft teweeggebracht op het gebied van door AI gegenereerde inhoud, suggereert dit onderzoek voorzichtigheid bij het vertrouwen op het humorgeneratiemodel.

De studie concludeert:

“Hoewel ChatGPT-grappen niet nieuw worden gegenereerd, betekent dit niet noodzakelijk dat de mogelijkheden van het systeem worden verwijderd… Of een kunstmatige agent in staat is om te begrijpen wat hij heeft geleerd, is echter een uitzonderlijk moeilijke vraag.”

Aangezien digitale marketeers naar AI kijken om hun contentaanbod te diversifiëren en uit te breiden, is het essentieel om de beperkingen en sterke punten van het model te begrijpen. Op het gebied van humor IS menselijke creativiteit, althans voorlopig, onvervangbaar.

Het onderzoeksteam is van plan vergelijkbaar onderzoek te doen naar recent uitgebrachte AI-modellen zoals LLaMa en GPT-NeoX, die meer inzicht beloven in de wereld van computationele humor.

Uitgelichte afbeelding gegenereerd door de auteur via Midjourney.

Source link