Was bedeutet Foundation Model AI?
Ein Basismodell (deutsch für Foundation Model) ist ein Deep-Learning-Algorithmus, der mit extrem großen Datensätzen aus dem öffentlichen Internet vortrainiert wurde.
Im Gegensatz zu eng gefassten Modellen der künstlichen Intelligenz (KI), die für eine einzige Aufgabe trainiert werden, werden Basismodelle mit einer Vielzahl von Daten trainiert und können Wissen von einer Aufgabe auf eine andere übertragen. Diese Art von groß angelegtem neuronalem Netzwerk kann einmal trainiert und dann für verschiedene Aufgabentypen feinabgestimmt werden.
Die Erstellung von Basismodellen kann Millionen von Dollar kosten, da sie Hunderte von Milliarden von Hyperparametern enthalten, die mit Hunderten von Gigabytes an Daten trainiert wurden. Nach der Fertigstellung kann jedes Basismodell jedoch unbegrenzt oft geändert werden, um eine Vielzahl diskreter Aufgaben zu automatisieren.
Heute werden grundlegende Modelle verwendet, um Anwendungen der künstlichen Intelligenz zu trainieren, die auf der Verarbeitung natürlicher Sprache (NLP) und der Erzeugung natürlicher Sprache (NLG) beruhen. Beliebte Anwendungsfälle sind unter anderem:
- BERT – hilft Programmen der künstlichen Intelligenz, den Kontext von mehrdeutigen Wörtern im Text zu verstehen, indem der Text gleichzeitig von links nach rechts und von rechts nach links verarbeitet wird, um den Kontext eines Wortes zu bestimmen. BERT steht für Bidirectional Encoder Representations from Transformers.
- GPT-3 – verwendet Deep-Learning-Algorithmen, um Text zu erstellen, der wie von einem Menschen geschrieben zu sein scheint. GPT-3, das häufig auf Websites zur Erstellung von Produktbeschreibungen und Nachrichtenzusammenfassungen verwendet wird, steht für Generative Pre-trained Transformer 3.
- DALL-E 2 – verwendet einen Prozess namens “Diffusion”, um aus einer Beschreibung in natürlicher Sprache realistische Bilder und Kunstwerke zu erzeugen. DALL-E 2 ist ein Portmanteau aus WALL-E und Salvador Dalí.
Techopedia erklärt Foundation Model AI
Es wird erwartet, dass Foundation-Modelle die Durchführung von KI-Projekten für große Unternehmen einfacher und kostengünstiger machen. Anstatt Millionen von Dollar für Hochleistungs-GPUs in der Cloud ausgeben zu müssen, um ein maschinelles Lernmodell zu trainieren, können Unternehmen auf bereits trainierte Daten zurückgreifen und ihre Aufmerksamkeit (und ihr Budget) auf die Abstimmung des Modells auf bestimmte Aufgaben konzentrieren.
Kritiker von Foundation-Modellen sind jedoch besorgt, dass diese Art von anpassbaren “Large-Scale-Neural-Network-in-a-can” so viele Daten verwendet und so viele Deep-Learning-Schichten enthält, dass es für einen Menschen unmöglich ist, zu verstehen, wie ein geändertes Modell ein bestimmtes Ergebnis berechnet hat.
Diese Art von Blackbox-KI Schwachstelle macht die Basismodelle anfällig für Data-Poisoning-Angriffe, die darauf abzielen, Fehlinformationen weiterzugeben oder absichtlich maschinelle Verzerrungen einzuführen.
BLOOM und CRFM
BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) ist ein wichtiges Grundlagenmodell, das von Freiwilligen auf einer gemeinschaftsgesteuerten Plattform für maschinelles Lernen (ML) namens Hugging Face erstellt wurde. Das Team von Freiwilligen, das dieses Modell erstellt hat, hat Einzelheiten darüber mitgeteilt, auf welchen Daten das Modell trainiert wurde und welche Kriterien zur Bestimmung der optimalen Leistung verwendet wurden.
Die Forscher hoffen, dass das offen zugängliche BLOOM-Modell für große Sprachen (LLM) genauso gut abschneidet wie die Modelle von OpenAI und Google Foundation und dass es den Einsatz von KI in vielen verschiedenen Anwendungsbereichen jenseits der robotergestützten Prozessautomatisierung (RPA) und anderen Arten von KI fördern wird.
Das BLOOM-Modell, das 176 Milliarden Parameter umfasst und 11 Wochen lang trainiert wurde, ist jetzt öffentlich zugänglich und kann über die Website von Hugging Face abgerufen werden. BLOOM beherrscht 46 menschliche Sprachen und 13 Programmiersprachen.
Stanford-Zentrum für Forschung über Stiftungsmodelle
Forscher am Center for Research on Foundation Models (CRFM) der Stanford University untersuchen ebenfalls, wie Foundation-Modelle das Potenzial haben, die Einführung von KI zu beschleunigen und gleichzeitig die Grundsätze einer verantwortungsvollen KI zu unterstützen.
Laut der CRFM-Website liegt ein Hauptaugenmerk des Forschungszentrums auf der Entwicklung strenger Prinzipien für das Training und die Bewertung von Basismodellen.
Das Center for Research on Foundation Models (CRFM), eine neue Initiative des Stanford Institute for Human-Centered Artificial Intelligence (HAI), veranstaltete vom 23. bis 24. August 2021 den Workshop zu Foundation Models. Der Workshop brachte Experten und Wissenschaftler aus verschiedenen Perspektiven und mit unterschiedlichem Hintergrund zusammen, um Möglichkeiten, Herausforderungen, Grenzen und gesellschaftliche Auswirkungen dieser neuen Technologien zu diskutieren.
Sehen Sie sich das folgende Video an, um mehr über CRFM zu erfahren.
