Der „Llama-Killer“ Falcon 180B zeigt, dass die Open-Source-KI mit der Aufholjagd fertig ist

Kürzlich hat das Technology Innovation Institute (TII) der Vereinigten Arabischen Emirate (VAE) das bisher stärkste quelloffene große Sprachmodell (engl. Large Language Model, LLM) vorgestellt: Falcon 180B.

Es verfügt über 180 Milliarden Parameter und wurde anhand von 3,5 Billionen Token trainiert.

Falcon 180B arbeitet mit dem RefinedWeb-Datensatz von TII, der Daten aus im Internet öffentlich zugänglichen Forschungsarbeiten, Rechtstexten, Nachrichten, Literatur und Diskussionen in sozialen Medien enthält.  

Diese Daten bedeuten, dass das Modell bei der Durchführung von Aufgaben wie Logik-, Codierungs-, Kompetenz- und Wissenstests gut abschneiden kann.

Was ist Falcon 180B? Ein neuer Herausforderer für die KI-Krone

Die Veröffentlichung von Falcon 180B erfolgt nur wenige Monate, nachdem Meta im Juli das vortrainierte Modell Llama 2 auf den Markt gebracht hat und TII im Mai 2023 Falcon 40B eingeführt hat.

Beim Start unterstützte Llama 2 180 Milliarden Parameter und wurde auf 2 Billionen Token trainiert, was es zum Zeitpunkt der Markteinführung zum größten Open-Source-LLM machte.

Das neue LLM von TII ist jedoch um das 2,5-fache größer als Llama 2 und wird mit viermal mehr Rechenleistung trainiert.

Außerdem übertrifft es Llama 2 beim Multi-Task-Sprachverständnis (engl. Multi-Task Language Understanding, MMLU). Aus diesem Grund bezeichnen einige Falcon 180B als Llama-Killer.

Diese Leistungsvorteile machen Falcon 180B zum größten Open-Source-LLM auf dem Markt und sind der Grund, warum es derzeit an der Spitze des Open-LLM-Leaderboards von Hugging Face steht.   

Auch im Vergleich zu proprietären LLMs hat Falcon 180B eine vielversprechende Leistung gezeigt.

Hugging Face geht davon aus, dass es mit PaLM 2 von Google konkurrieren kann, dem für Bard verwendeten Sprachmodell, und hebt die deutlich bessere Leistung gegenüber GPT-3.5 hervor.

Man sollte jedoch bedenken, dass die Größe des Modells für den Betrieb mindestens 320 GB Speicher erfordert, was eine kostspielige Investition sein kann. 

In jedem Fall ist Falcon 180B zwar nicht auf dem Niveau von GPT-4, aber es hat bewiesen, dass sich die Lücke zwischen Open- und Closed-Source-KI schnell schließt.

Da diese Kluft immer kleiner wird, werden Open-Source-Plattformen einen viel bedeutenderen Marktanteil erobern können, vor allem, wenn Unternehmen den von Open-Source-LLMs gebotenen Datenschutz vorziehen.

Datenschutzvorteile von Open-Source-KI gegenüber proprietären Modellen

Quelloffene KI-Modelle wie Falcon 180B bieten einen deutlichen Vorteil gegenüber proprietären Modellen in Bezug auf den Datenschutz.

Mit Open-Source-KI kann ein Unternehmen ein vorab trainiertes Modell auf seinen eigenen Servern trainieren, ohne Daten an das zentralisierte Modell eines Drittanbieters zu senden.

Das ist bei den meisten proprietären KI-Lösungen nicht der Fall. OpenAI, Google und Anthropic beispielsweise sammeln Daten aus Nutzergesprächen mit ihren Chatbots. Dies ist bei Open-Source-LLMs hingegen anders.

Dennoch hat OpenAI versucht, diese Datenschutzbedenken zu überwinden, indem es ChatGPT Enterprise auf den Markt gebracht hat, das keine Daten aus den User-Prompts erfassen soll.

Daher ist es wahrscheinlich, dass andere proprietäre Anbieter den Datenaustausch in Zukunft einschränken werden.

Demokratisierung und Open-Source-KI

Bei diesem Leistungsniveau haben quelloffene KI-Lösungen wie Falcon 180B das Potenzial, den Zugang zu KI zu demokratisieren.

So können Unternehmen mit dieser Technologie als Teil von Anwendungen und Integrationen mit vollständiger Transparenz experimentieren, anstatt Produkte zu verwenden, die mit einem Black-Box-Ansatz entwickelt wurden.

Mit quelloffenen KI-Modellen kann eine Gemeinschaft von Forschern zusammenarbeiten und Code und Anwendungsfälle optimieren, um die Weiterentwicklung der Technologie als Ganzes voranzutreiben, ohne von proprietären Torwächtern gebremst zu werden.

„Wir setzen uns dafür ein, den Zugang zu fortschrittlicher KI zu demokratisieren, da unsere Privatsphäre und die potenziellen Auswirkungen von KI auf die Menschheit nicht von einigen wenigen kontrolliert werden sollten“, sagte der Generalsekretär des Advanced Technology Research Council der VAE, S.E. Faisal Al Bannai, in einer Pressemitteilung zur Ankündigung.

„Wir haben vielleicht nicht alle Antworten, aber wir sind fest entschlossen, mit der Open-Source-Community zusammenzuarbeiten und einen Beitrag zu leisten, damit alle von den Vorteilen der KI profitieren können.“ 

Darüber hinaus soll der Start von Falcon 180B dabei helfen, das Monopol von Unternehmen wie Google, Meta, OpenAI und Anthropic im Silicon Valley herauszufordern, die im KI-Bereich bisher dominieren.

Zudem soll dadurch der Nahe Osten als Schlüsselregion für die künftige Entwicklung dieser Technologien gestärkt werden.

Zulässige Nutzung

Eines der interessantesten Elemente der Veröffentlichung ist, dass Falcon 180B eine freizügigere Nutzungsrichtlinie hat als andere Wettbewerber wie OpenAI und Anthrophic. 

So besteht der Grundsatz von Falcon 180B zum Beispiel aus vier Zeilen (paraphrasiert): Verwenden Sie es nicht, um lokale oder internationale Vorschriften zu verletzen, andere zu schädigen oder auszubeuten, falsche Informationen zu verbreiten oder andere zu diffamieren.

Im Gegensatz dazu enthält die Nutzungsrichtlinie von OpenAI eine Liste von 14 unzulässigen Formen der Nutzung ihrer Modelle sowie weitere Anforderungen.

Zu den unzulässigen Anwendungen gehören nicht nur illegale Aktivitäten und Belästigungen, sondern im weiteren Sinne auch „Aktivitäten, bei denen die Gefahr eines wirtschaftlichen Schadens besteht“, Inhalte für Erwachsene, politische Kampagnen, nicht qualifizierte Rechts- oder Finanzberatung, risikoreiche Regierungsentscheidungen oder die Bereitstellung von Anweisungen zur Behandlung von Krankheiten.

Die Nutzungsregeln von Anthropic umfassen ebenfalls eine große Anzahl verbotener Einsatzmöglichkeiten und Anwendungsfälle. 

Infolgedessen hat Falcon 180B weniger Leitplanken als diese proprietären Modelle, was die Tür zu mehr Nutzungsfällen öffnet, aber auch zu anderen Herausforderungen im Zusammenhang mit der Verwaltung kontroverser Inhalte und Fehlinformationen führen kann.

Ein hart umkämpfter Markt

Die Einführung von Falcon 180B macht vor allem deutlich, dass sich KI schneller entwickelt, als irgendjemand vorhersehen kann. Daher können Unternehmen nicht davon ausgehen, dass ein Anbieter den Markt für immer dominieren wird.

Während OpenAI nach der Veröffentlichung von ChatGPT im letzten Jahr einen frühen Vorsprung genossen hat, drängen andere Wettbewerber mit mehr Parametern und mehr Leistung ständig in diese Position vor.

Sobald proprietäre und Open-Source-Konkurrenten ein gewisses Leistungsniveau erreicht haben, wird es für diese Anbieter immer schwieriger, sich von der Masse abzuheben.