Wie profitieren KI-Modelle von der Übertragung von Wissen?

Überblick

Künstliche Intelligenz (KI) und maschinelles Lernen (ML) sind anspruchsvolle Technologien, da das Training von KI-Modellen und die regelmäßige Erfassung großer Datenmengen komplexe Aufgaben sind. Das Training beruht auf der Sammlung von Daten, aber der Zugang zu großen, neuen Datensätzen ist aufgrund gesetzlicher Bestimmungen, Kosten und ethischen Bedenken schwierig. Transfer-Lernen ist eine Technik, mit der dieses Problem angegangen wird, indem ein bereits trainiertes Modell als Ausgangspunkt für das Training eines neuen Modells verwendet werden kann.

Was ist Transfer-Lernen?

Transfer-Lernen ist vergleichbar mit einem Meisterkoch, der sein bereits vorhandenes kulinarisches Fachwissen und die Techniken früherer Gerichte nutzt, um neue Gerichte zu kreieren. Dabei wird ein KI-Modell auf einen Datensatz trainiert, so dass das KI-Modell die Objekte im Datensatz anhand ihrer Merkmale und Muster erkennen kann. Wenn dasselbe KI-Modell eingesetzt wird, um ein anderes, aber verwandtes Objekt zu erkennen, sind der Trainingsaufwand und die Datenmenge, die das KI-Modell für die Integration des zweiten Objekts benötigen würde, deutlich geringer – was wiederum die Kosten senkt.

Wie funktioniert das Transfer-Lernen?

Das Transfer-Lernen für KI-Modelle ist ein standardisierter und klar definierter Prozess.

• Ein KI-Modell wird auf einem großen Datensatz trainiert, mit dem Ziel, das KI-Modell in die Lage zu versetzen, die Elemente des Datensatzes zu erkennen. Ein Beispiel für einen großen Datensatz könnte ImageNet sein, eine frei zugängliche Datenbank mit beschrifteten Bildern. Das KI-Modell erwirbt dann Kenntnisse über die Objekte im Datensatz und nutzt diese, um verschiedene, aber verwandte Objekte zu erkennen.
• Das KI-Modell besteht aus verschiedenen Schichten, die unterschiedliche Aufgaben erfüllen. So könnte eine Schicht beispielsweise die Form eines Objekts, z. B. eines Vogels, erkennen, während eine andere Schicht die Körperteile des Vogels, wie Flügel, Schnabel und Augen, erkennen könnte. In diesem Prozess erwirbt das KI-Modell wichtige Kenntnisse über Vögel. Diese Phase wird als Pre-Training bezeichnet.
• Das KI-Modell wird dann für die Erkennung einer anderen, aber verwandten Aufgabe eingesetzt. Wenn das KI-Modell in der Vortrainingsphase beispielsweise gelernt hat, kleinere Vögel wie Spatzen und Eisvögel zu erkennen, kann es nun eingesetzt werden, um größere Vögel wie einen Geier zu erkennen. Diese Phase wird als Feinabstimmung bezeichnet.
• Während der Feinabstimmung werden die in der Vortrainingsphase verwendeten Schichten in der Regel eingefroren oder nur leicht trainiert, während die anderen Schichten anhand der neuen Datensätze ausgiebig trainiert werden. Auf diese Weise kombiniert das KI-Modell das Wissen aus der Pre-Trainingsphase und das Wissen aus der Fine-Tuning-Phase, um Objekte genau zu identifizieren.

Fallbeispiel

In mindestens einem Fall hat das Transfer-Lernen Ärzten ermöglicht, Krankheiten genau und schnell zu erkennen. Im Jahr 2017 nutzten Forscher der Stanford University Transfer Learning für eine bessere Bildgebung und Diagnose. Sie entwickelten ein Deep-Learning-Modell namens CheXNet, das über 100 000 Bilder von Röntgenaufnahmen der Brust untersuchte, um verschiedene Krankheiten in der Brust zu erkennen. Die Bilder wurden vom Clinical Center der National Institutes of Health (NIH) eingesandt.

CheXNet nutzte ein vortrainiertes KI-Modell namens DenseNet, das es ihm ermöglichte, das Lernen von verschiedenen Bildgebungen zu beschleunigen und Krankheiten zu erkennen. CheXNet ist in der Lage, 14 verschiedene Pathologien genau zu erkennen, darunter Lungenknötchen, Lungenentzündung und Pneumothorax. Die Forscher wollten jedoch streng überprüfen, ob die Ergebnisse des CheXNet korrekt sind und für die Behandlung verwendet werden können. Deshalb verglichen sie die Befunde des CheXNet auf einer Stichprobe von 420 Röntgenbildern des Brustkorbs mit den Befunden und Beobachtungen von erfahrenen Radiologen. Sie stellten fest, dass die Befunde von ChestNet eng mit denen der Radiologen übereinstimmten und somit einen bedeutenden Fortschritt darstellten.

Grenzen des Transfer-Lernens

Transfer-Lernen ist eine großartige Methode zum Trainieren von KI-Modellen, da es den Zeitaufwand optimiert und das Lernen beschleunigt. Es gibt jedoch einige Einschränkungen bei diesem Verfahren, die im Folgenden beschrieben werden.

Überanpassung

Eine Überanpassung liegt vor, wenn das vorbereitete Modell zu sehr mit einer bestimmten Art von Datensatz vertraut gemacht wird. Man kann sich das so vorstellen, dass das Modell so stark spezialisiert wird, dass die späteren Modelle, die das Vorübungsmodell nutzen, Schwierigkeiten haben, ähnliche, aber unterschiedliche Objekte zu erkennen. Es ist wie in dem Fall, dass das Vortrainingsmodell alle Arten von kleinen Vögeln erkennt, aber nicht die Fähigkeit auf die späteren Modelle übertragen kann, die größeren Vögel auf der Grundlage der grundlegenden Merkmale von Vögeln zu erkennen.

Negative Übertragung

Ein negativer Transfer liegt vor, wenn sich die Datensätze des vorbereitenden KI-Modells und der nachfolgenden Modelle, die das vorbereitende KI-Modell nutzen, unterscheiden. Unterschiede in den Datensätzen können den Zweck des Trainings der KI-Modelle gefährden. Allen Modellen müssen Datensätze zugewiesen werden, die hinreichend übereinstimmen, oder das Entwicklungsteam oder die Ingenieure müssen über einen logischen Satz von Parametern verfügen, um sicherzustellen, dass die Datensätze übereinstimmen. Andernfalls ist die Wahrscheinlichkeit, dass die späteren Modelle etwas anderes erkennen als das KI-Modell vor dem Training, extrem hoch. Dies bedeutet einen Mehraufwand für das Technik- und Entwicklungsteam.

Fazit

Transfer-Lernen ist ein effizienter Weg, KI-Modelle zu trainieren, um Dinge zu erkennen und Aktionen auszuführen, wie viele Fallstudien bestätigen. Allerdings können die Einschränkungen den Fortschritt ernsthaft behindern. Die Ingenieure müssen die Einschränkung der Überanpassung überwinden, da sonst die nachfolgenden KI-Modelle keine Objekte mehr erkennen können. Ebenso benötigen Unternehmen eine kohärente Richtlinie und eine Checkliste mit Parametern, die sicherstellen, dass das Modell vor dem Training und alle nachfolgenden Datenmodelle mit einheitlichen Datensätzen arbeiten. Das wird allerdings eine Herausforderung sein – die Aufgabe, Daten zu konsolidieren.