“Llama Killer” Falcon 180B laat zien dat Open-Source AI klaar is met bijpraten

Eind vorig jaar onthulde het Technology Innovation Institute (TII) van de Verenigde Arabische Emiraten (VAE) het grootste open-source large language model (LLM) tot nu toe, Falcon 180B. Het wordt geleverd met 180 miljard parameters en is getraind op 3,5 biljoen tokens.

Falcon 180B maakt gebruik van TII’s RefinedWeb dataset, die gegevens gebruikt van openbare web-crawling onderzoekspapers, juridische tekst, nieuws, literatuur en sociale media conversaties.

Deze gegevens betekenen dat het model goed kan presteren bij het uitvoeren van taken zoals redeneren, coderen, vaardigheidstests en kennistests.

Wat is de Falcon 180B? Een nieuwe uitdager voor de AI-kroon

De lancering van Falcon 180B komt slechts enkele maanden nadat Meta in juli 2023 het voorgetrainde model Llama 2 lanceerde en nadat TII in mei 2023 Falcon 40B lanceerde. Bij de lancering ondersteunde Llama-2 180-miljard parameters en werd het getraind op 2 biljoen tokens, waardoor het de grootste open-source LLM was op het moment van lancering.

De nieuwe LLM van TII is echter 2,5x groter dan Llama-2 en wordt getraind met 4x meer rekenkracht. Het presteert ook beter dan Llama 2 in multi-task taalbegrip (MMLU) taken. Daarom noemen sommigen Falcon 180B de Llama killer.

Deze prestatievoordelen maken Falcon 180B de grootste open-source LLM op de markt. Dit is waarom het momenteel bovenaan Hugging Face’s Open LLM Leaderboard staat.

Falcon 180B heeft ook veelbelovende prestaties laten zien ten opzichte van propriëtaire LLM’s, waarbij Hugging Face suggereert dat het kan wedijveren met Google’s PaLM 2, het taalmodel dat wordt gebruikt om Bard aan te drijven, en benadrukt dat het GPT-3.5 ronduit overtreft.

Dat gezegd hebbende, is het de moeite waard om op te merken dat de grootte van het model minstens 320GB geheugen vereist om te kunnen functioneren, wat een dure investering kan zijn.

Hoe dan ook, hoewel de Falcon 180B niet op het niveau van de GPT-4 zit, heeft het aangetoond dat de kloof tussen open en closed source AI snel aan het dichten is.

Naarmate die kloof kleiner wordt, zullen open-source platformen een veel groter marktaandeel verwerven, vooral als organisaties de voorkeur geven aan de privacy die open-source LLM’s bieden.

Open source AI’s privacyvoordeel ten opzichte van propriëtaire modellen

Open-source AI-modellen zoals Falcon 180B bieden een duidelijk voordeel ten opzichte van propriëtaire modellen op het gebied van gegevensprivacy.

Met een open-source AI-model kan een organisatie een vooraf getraind model trainen op haar eigen servers zonder gegevens terug te sturen naar het gecentraliseerde model van een derde partij.

Dit is niet het geval bij de meeste propriëtaire AI-oplossingen. OpenAI, Google en Anthropic verzamelen bijvoorbeeld allemaal gegevens van gebruikersgesprekken met hun chatbots. Dit gebeurt niet bij open-source LLM’s.

Het is echter belangrijk op te merken dat OpenAI heeft geprobeerd deze privacyproblemen aan te pakken door ChatGPT Enterprise te lanceren, dat geen gegevens verzamelt van gebruikersprompts, dus het is waarschijnlijk dat andere propriëtaire leveranciers in de toekomst zullen proberen het delen van gegevens te beperken.

Democratisering en Open-Source AI

Op dit prestatieniveau hebben open-source AI-oplossingen zoals Falcon 180B het potentieel om de toegang tot AI te democratiseren, zodat bedrijven kunnen experimenteren met deze technologie als onderdeel van applicaties en integraties met volledige transparantie in plaats van producten te gebruiken die zijn gebouwd met een ondoorzichtige black box-benadering.

Met open-source AI-modellen kan een groep van onderzoekers samenwerken en itereren op code en use cases om de ontwikkeling van de technologie als geheel vooruit te stuwen zonder beperkt te worden door propriëtaire poortwachters.

“We zijn toegewijd aan het democratiseren van de toegang tot geavanceerde AI, omdat onze privacy en de potentiële impact van AI op de mensheid niet door een selecte groep mag worden gecontroleerd”, zegt secretaris-generaal van de Advanced Technology Research Council van de VAE, Z.E. Faisal Al Bannai in het persbericht over de aankondiging.

“Hoewel we misschien niet alle antwoorden hebben, blijft onze vastberadenheid onwrikbaar: samenwerken en bijdragen aan de open source gemeenschap, om ervoor te zorgen dat de voordelen van AI door iedereen gedeeld worden.”

Daarnaast zal de lancering van Falcon 180B helpen om het Silicon Valley-monopolie uit te dagen van bedrijven als Google, Meta, OpenAI en Anthropic, die AI-innovatie hebben gedomineerd. Het helpt ook om het Midden-Oosten te versterken als een belangrijke regio om in de gaten te houden voor de ontwikkeling van deze technologieën in de toekomst.

Aanvaardbaar gebruik

Een van de meest interessante elementen van de release is dat Falcon 180B een meer permissieve acceptable use policy heeft dan andere concurrenten zoals OpenAI en Anthrophic.

Het beleid van Falcon 180B is bijvoorbeeld onderverdeeld in vier regels (geparafraseerd); gebruik het niet om lokale of internationale regelgeving te schenden, anderen te schaden of uit te buiten, valse informatie te verspreiden of anderen te belasteren.

Het gebruiksbeleid van OpenAI bevat daarentegen een lijst van 14 niet-toegestane toepassingen van de modellen en verdere vereisten.

Niet-toegestaan gebruik omvat niet alleen illegale activiteiten en intimidatie, maar meer in het algemeen “activiteiten met een risico op economische schade”, inhoud voor volwassenen, politieke campagne voeren, niet-gekwalificeerd juridisch of financieel advies, risicovolle overheidsbesluiten of het geven van instructies voor de behandeling van gezondheidsproblemen.

Anthropic’s beleid voor aanvaardbaar gebruik bevat ook een groot aantal verboden vormen van gebruik en use cases.

Als gevolg hiervan heeft Falcon 180B minder vangrails dan deze propriëtaire modellen, wat de deur opent naar meer gebruikssituaties, maar ook de deur kan openen naar andere uitdagingen rond het beheren van controversiële inhoud en desinformatie.

Een zeer competitieve markt

Bovenal benadrukt de release van Falcon 180B dat AI sneller evolueert dan iemand kan voorzien. Organisaties kunnen het zich niet veroorloven om aan te nemen dat één aanbieder de markt voor altijd zal domineren.

Hoewel OpenAI een vroege voorsprong heeft na de release van ChatGPT vorig jaar, komen andere concurrenten steeds dichter bij die positie met meer parameters en prestaties.

Zodra propriëtaire en open-source concurrenten een bepaald prestatieniveau bereiken, wordt het voor deze aanbieders steeds moeilijker om zich van de massa te onderscheiden.