Open Source GPT Chat zette een nieuwe stap voorwaarts met de release van het Dolly Large Language Model (DLL), gemaakt door het softwarebedrijf Databricks.

De nieuwe ChatGPT-kloon heet Dolly, genoemd naar het beroemde schaap met die naam, het eerste gekloonde zoogdier.

Grote open source taalmodellen

De Dolly LLM is de nieuwste manifestatie van de groeiende open source AI-beweging die meer toegang tot technologie probeert te bieden, zodat deze niet wordt gemonopoliseerd en gecontroleerd door grote bedrijven.

Een van de zorgen die de open source AI-beweging aandrijven, is dat bedrijven misschien terughoudend zijn om gevoelige gegevens over te dragen aan een derde partij die de AI-technologie beheert.

Gebaseerd op open source

Dolly is gebouwd op basis van een open-sourcemodel gemaakt door het non-profit EleutherAI-onderzoeksinstituut en het Alpaca-model van Stanford University, dat is gebouwd op basis van het open-source LLaMA-model van 65 miljard parameters gemaakt door Meta.

LLaMA, wat staat voor Large Language Model Meta AI, is een taalmodel dat wordt getraind op openbaar beschikbare gegevens.

Volgens een artikel in Weights & Biases kan LLaMA beter presteren dan veel van de beste taalmodellen (OpenAI GPT-3, Deep Mind’s Gopher en DeepMind’s Chinchilla), ondanks dat het kleiner is.

Het creëren van een betere dataset

Een andere inspiratiebron is een academisch onderzoeksdocument (SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions PDF) dat een manier beschrijft om zelf gegenereerde vraag- en antwoordtrainingsgegevens van hoge kwaliteit te creëren die beter zijn dan beperkte openbare gegevens.

Het zelfstudieonderzoeksdocument legt uit:

“…we bouwen een door experts geschreven instructieset voor nieuwe taken en laten door menselijke evaluatie zien dat het afstemmen van GPT3 met SELF-INSTRUCT ruimschoots beter presteert met behulp van bestaande openbare instructiedatasets, waardoor er slechts een absoluut gat van 5% achterblijft bij InstructGPT…

… Door onze methode toe te passen op vanilla GPT3, demonstreren we een absolute verbetering van 33% ten opzichte van het originele model in SUPERNATURALINSTRUCTIONS, vergelijkbaar met de prestaties van InstructGPT … die is getraind op persoonlijke gebruikersgegevens en menselijke annotaties.

Het belang van Dolly is dat het laat zien dat een bruikbaar groot taalmodel kan worden gebouwd met een kleinere maar hoogwaardige dataset.

Databricks observeert:

“Dolly werkt door een bestaand model van 6 miljard open source-parameters van EleutherAI te nemen en het enigszins aan te passen om instructies te verkrijgen die mogelijkheden zoals brainstormen en tekstgeneratie volgen die niet aanwezig zijn in het originele model, met behulp van gegevens van Alpaca.

… We laten zien dat iedereen een gedateerd open source large language model (LLM) kan nemen en het ChatGPT-achtige instructie-volgmogelijkheden kan geven door het in 30 minuten op een machine te trainen, met behulp van trainingsgegevens met een hoge resolutie

Verrassend genoeg lijkt het volgen van instructies niet de nieuwste of grootste modellen te vereisen: ons model heeft slechts 6 miljard parameters, vergeleken met de 175 miljard van GPT-3.”

Databricks Open-source AI

Dolly zou AI democratiseren. Het maakt deel uit van een kostuumbeweging die onlangs is toegetreden door de non-profitorganisatie Mozilla met de oprichting van Mozilla.ai. Mozilla is de uitgever van de Firefox-browser en andere open source software.

Lees de volledige Databricks-aankondiging:

Hallo Dolly: de magie van ChatGPT democratiseren met open modellen

Source link