Silicon Valley AI-bedrijf Cerebras heeft zeven open source GPT-modellen uitgebracht om een ​​alternatief te bieden voor de propriëtaire en streng gecontroleerde systemen die vandaag beschikbaar zijn.

De royalty-free open source GPT-modellen, inclusief gewichten en trainingsrecept, worden vrijgegeven onder de zeer tolerante Apache 2.0-licentie door Cerebras, een op Silicon Valley gebaseerde AI-infrastructuur voor AI-toepassingen.

Tot op zekere hoogte zijn de zeven GPT-modellen een proof of concept voor de Cerebras Andromeda AI-supercomputer.

De infrastructuur van Cerebras stelt haar klanten, zoals Jasper AI Copywriter, in staat om snel hun eigen aangepaste taalmodellen te trainen.

Een blogpost van Cerebras over hardwaretechnologie merkte op:

“We hebben alle Cerebras-GPT-modellen getraind op een Cerebras 16x CS-2 wafer-scale cluster genaamd Andromeda.

Dankzij het cluster konden alle experimenten snel worden voltooid, zonder de traditionele gedistribueerde systeemengineering en parallelle modelafstemming die vereist is voor GPU-clusters.

Het belangrijkste was dat onze onderzoekers zich hierdoor konden concentreren op het ontwerp van de ML in plaats van op het gedistribueerde systeem. We geloven dat de mogelijkheid om gemakkelijk grote modellen te trainen een belangrijke factor is voor de bredere gemeenschap, dus hebben we de Cerebras Wafer-Scale Cluster beschikbaar gemaakt in de cloud via de Cerebras AI Model Studio.”

Cerebras GPT- en transparantiemodellen

Cerebras noemt de concentratie van eigendom van AI-technologie in een paar bedrijven als reden voor het creëren van zeven open-source GPT-modellen.

OpenAI, Meta en Deepmind houden veel informatie over hun systemen privé en worden streng gecontroleerd, waardoor innovatie wordt beperkt tot wat de drie bedrijven besluiten dat anderen met hun gegevens kunnen doen.

Is een closed source-systeem het beste voor AI-innovatie? Of is open source de toekomst?

Cerebras schrijft:

“Om LLM’s een open en toegankelijke technologie te laten zijn, vinden wij het belangrijk om toegang te hebben tot state-of-the-art modellen die open, reproduceerbaar en royalty-vrij zijn voor zowel onderzoek als commerciële toepassingen.

Hiervoor hebben we een familie van transformatormodellen gevormd met behulp van de nieuwste technieken en open datasets die we Cerebras-GPT noemen.

Deze modellen zijn de eerste familie van GPT-modellen die zijn getraind met de Chinchilla-formule en zijn vrijgegeven onder de Apache 2.0-licentie.

Daarom worden deze zeven modellen gepubliceerd op Hugging Face en GitHub om verder onderzoek aan te moedigen door middel van open toegang tot AI-technologie.

Deze modellen werden getraind op de Andromeda AI-supercomputer van Cerebras, een proces dat slechts weken in beslag nam.

Cerebras-GPT is volledig open en transparant, in tegenstelling tot de nieuwste GPT-modellen van OpenAI (GPT-4), Deepmind en Meta OPT.

OpenAI en Deepmind Chinchilla bieden geen licenties om de modellen te gebruiken. Meta OPT biedt alleen een niet-commerciële licentie.

OpenAI’s GPT-4 heeft absoluut geen transparantie over zijn trainingsgegevens. Hebben ze Common Crawl-gegevens gebruikt? Hebben ze het internet afgestruind en hun eigen dataset gemaakt?

OpenAI houdt deze informatie (en meer) geheim, wat in contrast staat met de Cerebras-GPT-aanpak die volledig transparant is.

Dit alles is open en transparant:

Modelarchitectuur Trainingsgegevens Modelgewichten Controlepunten Optimale trainingsstatus voor berekening (ja) Gebruikslicentie: Apache 2.0-licentie

De zeven versies zijn verkrijgbaar in de modellen 111M, 256M, 590M, 1.3B, 2.7B, 6.7B en 13B.

Aangekondigd:

“Als eerste onder AI-hardwarebedrijven trainden Cerebras-onderzoekers op de Andromeda AI-supercomputer een reeks van zeven GPT-modellen met parameters 111M, 256M, 590M, 1.3B, 2.7B, 6.7B en 13B.

Normaal gesproken een onderneming van meerdere maanden, werd dit werk binnen enkele weken voltooid dankzij de ongelooflijke snelheid van de Cerebras CS-2-systemen die deel uitmaken van Andromeda en het vermogen van Cerebras’ gewichtsoverdrachtsarchitectuur om de pijn uit het gedistribueerde computergebruik te halen

Deze resultaten tonen aan dat Cerebras-systemen de grootste en meest complexe AI-workloads van vandaag kunnen trainen.

Dit is de eerste keer dat een reeks GPT-modellen, getraind met de modernste trainingsefficiëntietechnieken, openbaar is gemaakt.

Deze modellen worden getraind met maximale nauwkeurigheid voor een bepaald rekenbudget (d.w.z. efficiënte training met het Chinchilla-recept), dus ze hebben een kortere trainingstijd, lagere trainingskosten en verbruiken minder energie dan elk bestaand openbaar model.

Opensource-AI

De Mozilla Foundation, makers van de open source Firefox-software, hebben een bedrijf opgericht met de naam Mozilla.ai om open source GPT- en aanbevelingssystemen te creëren die betrouwbaar zijn en de privacy respecteren.

Databricks heeft onlangs ook een open source GPT-kloon uitgebracht, Dolly genaamd, die tot doel heeft “de magie van ChatGPT” te democratiseren.

Naast deze zeven Cerebras GPT-modellen heeft een ander bedrijf, Nomic AI genaamd, GPT4All uitgebracht, een open source GPT die op een laptop kan worden uitgevoerd.

Vandaag brengen we GPT4All uit, een chatbot in tovenaarsstijl die is gedestilleerd uit 430.000 GPT-3.5-Turbo-uitgangen die je op je laptop kunt gebruiken. pic.twitter.com/VzvRYPLfoY

— Nomische AI ​​(@nomic_ai) 28 maart 2023

De open source AI-beweging staat nog in de kinderschoenen, maar wint aan kracht.

GPT-technologie zorgt voor enorme veranderingen in alle sectoren, en het is mogelijk, misschien wel onvermijdelijk, dat open source-bijdragen het aanzien van de sectoren die deze verandering stimuleren, kunnen veranderen.

Als de open source-beweging zich in dit tempo blijft ontwikkelen, staan ​​we misschien op het punt getuige te zijn van een verschuiving in AI-innovatie die voorkomt dat deze zich concentreert in de handen van een paar bedrijven.

Lees de officiële aankondiging:

Cerebras Systems brengt zeven nieuwe GPT-modellen uit die zijn getraind op CS-2-schaalsystemen

Uitgelichte afbeelding door Shutterstock/Merkushev Vasiliy

Source link