Foundation Model AI

Transparenz

Was bedeutet Foundation Model AI?

Ein Foundation Model (deutsch: Basismodell) ist ein Deep-Learning-Algorithmus, der mit extrem großen Datensätzen aus dem öffentlichen Internet vortrainiert wurde. Diese Modelle repräsentieren einen Wendepunkt in der KI-Forschung und -Anwendung, da sie die Fähigkeit besitzen, Wissen über verschiedene Domänen hinweg zu generalisieren und anzuwenden.

Im Gegensatz zu eng gefassten Modellen der künstlichen Intelligenz (KI), die für eine einzige Aufgabe trainiert werden, werden Foundation-Modelle mit einer Vielzahl von Daten trainiert und können Wissen von einer Aufgabe auf eine andere übertragen.

Diese Flexibilität ist ein Schlüsselmerkmal, das Foundation-Modelle von herkömmlichen KI-Modellen unterscheidet und ihnen ermöglicht, in einer breiten Palette von Anwendungsfällen eingesetzt zu werden.

Solch ein groß angelegtes neuronales Netzwerk kann einmal trainiert und dann für verschiedene Aufgabentypen feinabgestimmt werden. Nach der Fertigstellung kann also jedes Foundation-Modell unbegrenzt oft geändert werden, um eine Vielzahl diskreter Aufgaben zu automatisieren.

Die Erstellung von Foundation-Modellen kann Millionen von Dollar kosten, da sie Hunderte von Milliarden von Hyperparametern enthalten, die mit Hunderten von Gigabytes an Daten trainiert wurden.

Diese Investition reflektiert das enorme Potenzial dieser Modelle, komplexe Probleme zu lösen und neue Möglichkeiten in der KI-Anwendung zu erschließen.

Techopedia erklärt Foundation Model AI

Es wird erwartet, dass Foundation-Modelle die Durchführung von KI-Projekten für große Unternehmen einfacher und kostengünstiger machen. Diese Modelle bieten eine skalierbare und effiziente Lösung, um die Grenzen herkömmlicher KI-Anwendungen zu überwinden und die Entwicklung intelligenter Systeme zu beschleunigen.

Anstatt Millionen von Dollar für Hochleistungs-GPUs in der Cloud ausgeben zu müssen, um ein maschinelles Lernmodell zu trainieren, können Unternehmen auf bereits trainierte Daten zurückgreifen und ihre Aufmerksamkeit (und ihr Budget) auf die Abstimmung des Modells auf bestimmte Aufgaben konzentrieren.

Foundation Model AI: Beispiele

Heute werden Foundation-Modelle verwendet, um Anwendungen der künstlichen Intelligenz zu trainieren, die auf der Verarbeitung (NLP) und der Erzeugung natürlicher Sprache (NLG) beruhen. Beliebte Anwendungsfälle sind unter anderem:

  • BERT – hilft Programmen der künstlichen Intelligenz, den Kontext von mehrdeutigen Wörtern im Text zu verstehen, indem der Text gleichzeitig von links nach rechts und von rechts nach links verarbeitet wird, um den Kontext eines Wortes zu bestimmen. BERT steht für Bidirectional Encoder Representations from Transformers.
  • GPT-4 – verwendet Deep-Learning-Algorithmen, um Text zu erstellen, der wie von einem Menschen geschrieben zu sein scheint. GPT-4, das häufig auf Websites zur Erstellung von Produktbeschreibungen und Nachrichtenzusammenfassungen verwendet wird, steht für Generative Pre-trained Transformer 4.
  • DALL-E 2 – verwendet einen Prozess namens “Diffusion”, um aus einer Beschreibung in natürlicher Sprache realistische Bilder und Kunstwerke zu erzeugen. DALL-E 2 ist ein Portmanteau aus WALL-E und Salvador Dalí. Interessierte können sich stets zu den besten KI Kunst Generatoren auf dem Laufenden halten.

Foundation Model AI: Herausforderungen

Kritiker von Foundation Models sind besorgt, dass diese Art von anpassbarem “Large-Scale-Neural-Network-in-a-can” so viele Daten verwendet und so viele Deep-Learning-Schichten enthält, dass es für einen Menschen unmöglich ist, zu verstehen, wie ein geändertes Modell ein bestimmtes Ergebnis berechnet hat.

Solch eine Blackbox-KI Schwachstelle macht Foundation Models anfällig für Data-Poisoning-Angriffe, die darauf abzielen, Fehlinformationen weiterzugeben oder absichtlich maschinelle Verzerrungen einzuführen.

Die Bedenken unterstreichen die Notwendigkeit einer transparenten und verantwortungsvollen Entwicklung und Anwendung von KI-Technologien, um das Vertrauen in diese Systeme zu stärken und ihre positiven Auswirkungen zu maximieren.

Aktuelle Forschungsprojekte zu Foundation-Modellen

Im Folgenden werden zwei der wichtigsten Forschungsprojekte im Bereich der Foundation-Modelle genauer betrachtet.

BLOOM: Ein Meilenstein in der Entwicklung offener KI-Modelle?

BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) ist ein wichtiges Grundlagenmodell, das von Freiwilligen auf einer gemeinschaftsgesteuerten Plattform für maschinelles Lernen (ML) namens Hugging Face erstellt wurde.

Das Team von Freiwilligen, das dieses Modell erstellt hat, hat Einzelheiten darüber mitgeteilt, auf welchen Daten das Modell trainiert wurde und welche Kriterien zur Bestimmung der optimalen Leistung verwendet wurden.

Die Offenlegung dieser Informationen soll die Transparenz und Reproduzierbarkeit in der KI-Forschung fördern, was für die Entwicklung verantwortungsvoller und ethisch vertretbarer KI-Systeme von entscheidender Bedeutung ist.

Die Forscher hoffen, dass das offen zugängliche BLOOM-Modell für große Sprachen (LLM) genauso gut abschneidet wie die Modelle von OpenAI und der Google Foundation und dass es den Einsatz von KI in vielen verschiedenen Anwendungsbereichen jenseits der robotergestützten Prozessautomatisierung (RPA) und anderen Arten von KI fördern wird.

Das BLOOM-Modell, das 176 Milliarden Parameter umfasst und 11 Wochen lang trainiert wurde, ist jetzt öffentlich zugänglich und kann über die Website von Hugging Face abgerufen werden.

Diese Zugänglichkeit unterstützt die Demokratisierung von KI-Technologien, indem sie Forschern und Entwicklern weltweit ermöglicht, auf fortschrittliche Modelle zuzugreifen und diese für ihre eigenen Projekte anzupassen. BLOOM beherrscht 46 menschliche Sprachen und 13 Programmiersprachen.

Stanford: Wichtige Forschung zu Foundation Model AI

Forscher am Center for Research on Foundation Models (CRFM), einer neuen Initiative der Stanford University, untersuchen ebenfalls das Potenzial von Foundation-Modellen, die Einführung von KI zu beschleunigen und gleichzeitig die Grundsätze einer verantwortungsvollen KI zu unterstützen.

Im August 2021 veranstaltete das CRFM seinen Workshop zu Foundation Models. Diese Veranstaltung brachte Experten und Wissenschaftler aus verschiedenen Perspektiven und mit unterschiedlichem Hintergrund zusammen, um Möglichkeiten, Herausforderungen, Grenzen und gesellschaftliche Auswirkungen dieser neuen Technologien zu erörtern.

Ein Schwerpunkt solcher Events liegt auf der Diskussion strenger Prinzipien für das Training und die Bewertung von Foundation Models, um sicherzustellen, dass diese Technologien gemeinschaftliche Werte widerspiegeln und zum Wohle aller eingesetzt werden.

Diese Bemühungen sind entscheidend, um die Risiken zu minimieren, die mit der Implementierung leistungsfähiger KI-Systeme verbunden sind.

Verwandte Begriffe

Margaret Rouse
Redaktion
Margaret Rouse
Redaktion

Margaret Rouse ist eine preisgekrönte technische Autorin und Dozentin. Sie ist für ihre Fähigkeit bekannt, komplexe technische Themen simpel und nachvollziehbar zu erklären. In den letzten zwanzig Jahren sind ihre Erklärungen auf TechTarget-Websites erschienen und sie wurde in Artikeln der New York Times, des Time Magazine, USA Today, ZDNet, PC Magazine und Discovery Magazine als Quelle und Expertin zitiert. Wenn Sie einen Vorschlag für eine neue Definition haben oder eine technische Erklärung verbessern möchten, schicken Sie einfach Margaret eine E-Mail oder kontaktieren Sie sie auf LinkedIn oder Twitter.