Google heeft een innovatieve technologie aangekondigd, CALM genaamd, die grote taalmodellen (zoals GPT-3 en LaMDA) versnelt zonder afbreuk te doen aan de prestatieniveaus.

Grotere trainingsgegevens zijn beter, maar er zijn kosten aan verbonden

Grote taalmodellen (LLM’s) worden getraind op grote hoeveelheden gegevens.

Het trainen van taalmodellen op grotere hoeveelheden data zorgt ervoor dat het model nieuwe vaardigheden leert die niet altijd de bedoeling zijn.

Het toevoegen van meer trainingsgegevens aan een taalmodel kan er bijvoorbeeld voor zorgen dat het onverwachts de mogelijkheid krijgt om tussen verschillende talen te vertalen, ook al is het hiervoor niet opgeleid.

Deze nieuwe vaardigheden worden opkomende vaardigheden genoemd, vaardigheden die niet noodzakelijkerwijs gepland zijn.

Een ander onderzoeksdocument (pdf) over opkomende vaardigheden stelt:

“Hoewel er tientallen voorbeelden zijn van opkomende vaardigheden, zijn er momenteel weinig overtuigende verklaringen waarom deze vaardigheden ontstaan ​​zoals ze ontstaan.”

Ze kunnen niet verklaren waarom verschillende vaardigheden worden aangeleerd.

Maar het is algemeen bekend dat door de hoeveelheid gegevens te vergroten om de machine te trainen, deze meer vaardigheden kan opdoen.

Het nadeel van het uitbreiden van de trainingsgegevens is dat er meer rekenkracht nodig is om een ​​uitvoer te produceren, waardoor de AI langzamer wordt tegen de tijd dat het tekstuitvoer genereert (een tijd die “inferentietijd” wordt genoemd).

Dus de wisselwerking van AI slimmer maken met meer data is dat de AI ook langzamer wordt op het moment van deductie.

Het nieuwe onderzoeksdocument van Google (Trusted Adaptive Language Modeling PDF) beschrijft het probleem als volgt:

“Recente ontwikkelingen in Transformer-gebaseerde Large Language Models (LLM’s) hebben geleid tot aanzienlijke prestatieverbeteringen bij veel taken.

Deze voordelen gaan gepaard met een drastische toename van de modelgrootte, wat kan leiden tot traag en duur gebruik op het moment van inferentie.

Veilige adaptieve taalmodellering (CALM)

Google-onderzoekers hebben een interessante oplossing gevonden om taalmodellen te versnellen met behoud van hoge prestaties.

De oplossing, om een ​​analogie te gebruiken, lijkt een beetje op het verschil tussen het beantwoorden van een gemakkelijke vraag en het oplossen van een moeilijkere.

Een gemakkelijke vraag, zoals welke kleur de lucht heeft, kan met weinig nadenken worden beantwoord.

Maar een moeilijk antwoord vereist dat je stopt en wat meer nadenkt om het antwoord te vinden.

Computationeel maken grote taalmodellen geen onderscheid tussen een moeilijk deel van een tekstgeneratietaak en een gemakkelijk deel.

Ze genereren tekst voor zowel de gemakkelijke als de moeilijke delen en gebruiken al hun rekenkracht op het moment van inferentie.

De oplossing van Google heet Confident Adaptive Language Modeling (CALM).

Wat dit nieuwe raamwerk doet, is minder middelen besteden aan de triviale delen van een taak voor het genereren van tekst en alle kracht besteden aan de moeilijkere delen.

Het onderzoeksdocument over CALM stelt het probleem en de oplossing als volgt:

“Recente ontwikkelingen in Transformer-gebaseerde Large Language Models (LLM’s) hebben geleid tot aanzienlijke prestatieverbeteringen bij veel taken.

Deze voordelen gaan gepaard met een drastische toename van de modelgrootte, wat kan leiden tot traag en duur gebruik op het moment van inferentie.

In de praktijk bestaat de reeks generaties die LLM’s volgen echter uit verschillende moeilijkheidsgraden.

Hoewel bepaalde voorspellingen echt profiteren van de volledige capaciteit van de modellen, zijn andere voortzettingen triviaaler en kunnen ze worden opgelost met minder rekenwerk.

… Hoewel grote modellen over het algemeen beter presteren, hoeft niet voor elke invoer dezelfde hoeveelheid berekeningen te worden uitgevoerd om vergelijkbare prestaties te bereiken (bijvoorbeeld afhankelijk van of de invoer gemakkelijk of moeilijk is).

Wat is Google CALM en werkt het?

CALM werkt door middelen dynamisch toe te wijzen op basis van de complexiteit van het individuele deel van de taak, waarbij een algoritme wordt gebruikt om te voorspellen of iets volledige of gedeeltelijke middelen nodig heeft.

De onderzoekspaper deelt dat ze het nieuwe systeem hebben getest voor verschillende natuurlijke taalverwerkingstaken (“tekstsamenvatting, automatische vertaling en antwoord op vragen”) en ontdekten dat ze de gevolgtrekking met ongeveer een factor drie konden versnellen (300%). .

Onderstaande afbeelding laat zien hoe het CALM-systeem werkt.

De paar rode gebieden geven aan waar de machine zijn volledige capaciteit moest gebruiken in dat deel van de taak.

De groene gebieden zijn waar de machine slechts minder dan de helft van de capaciteit gebruikte.

Rood = Volle capaciteit/Groen = Minder dan halve capaciteit

Dit is wat het onderzoekspapier zegt over de bovenstaande illustratie:

“CALM versnelt het genereren door indien mogelijk vroegtijdig te stoppen en selectief de volledige capaciteit van de decoder te gebruiken voor slechts een paar tokens, wat hier wordt gedemonstreerd in een voorbeeld van CNN/DM met een op softmax gebaseerde betrouwbaarheidsmaatstaf. Vroeg Y(1) en vroeg J (2) gebruik verschillende betrouwbaarheidsdrempels voor vervroegde uittreding.

Hieronder (sic) in de tekst rapporteren we de tekstuele consistentie en het gemeten risico van elk van de twee resultaten, samen met de efficiëntiewinsten.

De kleuren vertegenwoordigen het aantal decoderingslagen dat voor elk token wordt gebruikt; lichtgroene tinten geven minder dan de helft van de totale lagen aan.

Slechts een paar geselecteerde tegels gebruiken de volledige capaciteit van het model (rood), terwijl voor de meeste tegels het model na één of enkele decoderingslagen wordt verlaten (groen).

De onderzoekers sloten het artikel af door op te merken dat de CALM-implementatie slechts minimale aanpassingen vereist om een ​​groot taalmodel aan te passen om sneller te zijn.

Dit onderzoek is belangrijk omdat het de deur opent naar het bouwen van complexere AI-modellen die worden getraind op aanzienlijk grotere datasets zonder een lagere snelheid te ervaren en een hoog prestatieniveau te behouden.

Het is echter mogelijk dat deze methode ook kan profiteren van grote taalmodellen die ook met minder data worden getraind.

InstructGPT-modellen, waarvan ChatGPT een zustermodel is, zijn bijvoorbeeld getraind op ongeveer 1,3 miljard parameters, maar kunnen nog steeds beter presteren dan modellen die zijn getraind op substantieel meer parameters.

De onderzoekers noteerden in de conclusie:

“Over het algemeen vereist ons uitgebreide adaptieve rekenraamwerk voor LM minimale aanpassingen aan het onderliggende model en maakt het efficiëntiewinsten mogelijk terwijl het voldoet aan strikte kwaliteitsgaranties voor de output.”

Deze informatie over dit onderzoekspaper is op 16 december 2022 gepubliceerd op de Google AI Blog. Het onderzoekspaper zelf is gedateerd op 25 oktober 2022.

Het zal interessant zijn om te zien of deze technologie de grote taalmodellen van de nabije toekomst zal halen.

Lees de blogpost van Google:

Versnel tekstaanmaak met Safe Adaptive Language Modeling (CALM)

Lees het onderzoeksartikel:

Veilige adaptieve taalmodellering (pdf)

Uitgelichte afbeelding door Shutterstock/Master1305

Source link