Foundation Model AI

Wat betekent Foundation Model AI?

Een foundation model is een deep learning algoritme dat vooraf is getraind met extreem grote datasets die van het openbare internet zijn geschraapt.

In tegenstelling tot zwakke kunstmatige intelligentie (AI) modellen die getraind zijn om een enkele taak uit te voeren, worden foundation modellen getraind met een grote verscheidenheid aan gegevens en kunnen ze kennis overdragen van de ene taak naar de andere. Dit type grootschalige neurale netwerken kan één keer worden getraind en vervolgens worden verfijnd om verschillende soorten taken uit te voeren.

Foundationmodellen kunnen miljoenen dollars kosten om te maken, omdat ze honderden miljarden hyperparameters bevatten die zijn getraind met honderden gigabytes aan gegevens. Na voltooiing kan elk foundationmodel echter een onbeperkt aantal keren worden aangepast om een grote verscheidenheid aan discrete taken te automatiseren.

Vandaag de dag worden basismodellen gebruikt om toepassingen voor kunstmatige intelligentie te trainen die vertrouwen op Natural Language Processing (NLP) en Natural Language Generation (NLG). Populaire toepassingen zijn onder andere:

• BERT – helpt kunstmatige intelligentieprogramma’s de context van dubbelzinnige woorden in tekst te begrijpen door tekst in de richtingen links-naar-rechts en rechts-naar-links tegelijkertijd te verwerken om de context van een woord te bepalen. BERT staat voor Bidirectionele Encoder Representaties van Transformatoren.
• GPT-3 – gebruikt deep learning-algoritmen om tekst te produceren die geschreven lijkt te zijn door een mens. GPT-3, dat vaak op websites wordt gebruikt om productbeschrijvingen en nieuwsoverzichten te genereren, staat voor Generative Pre-trained Transformer 3.
• DALL-E 2 – gebruikt een proces genaamd “diffusie” om realistische afbeeldingen en kunst te maken van een beschrijving in natuurlijke taal. DALL-E 2 is een woordspeling van WALL-E en Salvador Dalí.

Techopedia legt Foundation Model AI uit

Foundationmodellen zullen naar verwachting AI-projecten voor grote bedrijven eenvoudiger en goedkoper maken om uit te voeren. In plaats van miljoenen dollars te moeten uitgeven aan krachtige GPU’s in de cloud om een model voor machine learning te trainen, kunnen bedrijven gegevens gebruiken die al getraind zijn en hun aandacht (en budget) richten op het afstemmen van het model voor specifieke taken.

Critici van foundationmodellen zijn echter bezorgd dat dit soort aanpasbare “grootschalige-neurale-netwerken” zoveel gegevens gebruiken en zoveel diepe leerlagen bevatten dat het voor een mens onmogelijk is om te begrijpen hoe een aangepast model een specifieke uitvoer heeft berekend. Door dit soort kwetsbaarheden van de back box lopen foundationmodellen het risico op aanvallen die zijn ontworpen om verkeerde informatie door te geven of opzettelijk een error te introduceren.

BLOOM en CRFM

BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) is een belangrijk funderingsmodel dat is gemaakt door vrijwilligers van een community-driven machine learning (ML) platform genaamd Hugging Face. Het team van vrijwilligers dat dit model heeft gemaakt, heeft details gedeeld over de data waarmee het model is getraind en welke criteria zijn gebruikt om optimale prestaties te bepalen.

De onderzoekers hopen dat het open-access Large Language Model (LLM) van BLOOM, dat net zo goed presteert als de modellen van OpenAI en Google Foundation, de toepassing van AI in veel verschillende soorten toepassingen zal stimuleren, naast robotische procesautomatisering (RPA) en andere soorten zwakke AI.

Het BLOOM-model, dat 176 miljard parameters bevat en gedurende 11 weken is getraind, is nu beschikbaar voor het publiek en kan worden geopend via de Hugging Face-website. BLOOM spreekt vloeiend 46 menselijke talen en 13 programmeertalen.

Stanford Centrum voor onderzoek naar stichtingsmodellen

Onderzoekers van het Stanford University’s Center for Research on Foundation Models (CRFM) bestuderen ook hoe foundationmodellen de adoptie van AI kunnen versnellen en tegelijkertijd de principes van verantwoorde AI ondersteunen.

Volgens de website van het CRFM richt het onderzoekscentrum zich vooral op het ontwikkelen van strenge principes voor het trainen en evalueren van foundationmodellen.

Het Center for Research on Foundation Models (CRFM), een nieuw initiatief van het Stanford Institute for Human-Centered Artificial Intelligence (HAI), organiseerde de Workshop on Foundation Models van 23-24 augustus 2021. De workshop bracht experts en wetenschappers met verschillende perspectieven en achtergronden bijeen om de kansen, uitdagingen, beperkingen en maatschappelijke impact van deze opkomende technologieën te bespreken.