Liquid Neural Network (LNN)

Was ist ein Liquid Neural Network?

Ein Liquid Neural Network (LNN) ist ein zeitkontinuierliches rekurrentes neuronales Netz, das auf einer dynamischen Architektur von Neuronen aufbaut. Diese Neuronen sind in der Lage, Zeitreihen von Daten zu verarbeiten, Vorhersagen auf der Grundlage von Beobachtungen zu treffen und sich kontinuierlich an neue Eingaben anzupassen.

Durch ihre Anpassungsfähigkeit sind sie in der Lage, kontinuierlich zu lernen und sich anzupassen und letztlich Zeitreihendaten effektiver zu verarbeiten als herkömmliche neuronale Netze.

LNNs wurden ursprünglich vom Computer Science and Artificial Intelligence Laboratory am MIT entwickelt (CSAIL), das versuchte, eine Maschinenlernen (ML)-Lösung zu entwickeln, die in der Lage ist, während der Arbeit zu lernen und sich an neue Eingaben anzupassen.

Das Konzept wurde vom mikroskopisch kleinen Fadenwurm C. elegans inspiriert, einem Wurm, der nur 302 Neuronen in seinem Nervensystem hat, aber dennoch dynamisch auf seine Umgebung reagieren kann.

Liquid Neural Networks vs. neuronale Netze

Einer der Hauptunterschiede zwischen LNNs und neuronalen Netzen besteht darin, dass erstere dynamische Verbindungen zwischen Neuronen verwenden, während herkömmliche neuronale Netze feste Verbindungen und Gewichte zwischen den einzelnen Neuronen haben.

Diese flexiblen Verbindungen bedeuten, dass Liquid Neural Networks sich kontinuierlich an neue Dateneingaben anpassen und daraus lernen können, was bei traditionellen neuronalen Netzen nicht möglich ist, da sie von ihren Trainingsdaten abhängig sind. Dadurch sind LNNs besser in der Lage, Zeitreihendaten zu verarbeiten, aber sie sind auch weniger effektiv bei der Verarbeitung statischer oder fester Daten als andere neuronale Netze.

Es ist wichtig anzumerken, dass die dynamische Architektur von Liquid Neural Networks auch insgesamt weniger Neuronen erfordert als ein neuronales Netz und insgesamt weniger Rechenleistung verbraucht. Ihr geringer Rechenbedarf bedeutet, dass sie auf leichten Computern und Hardware wie Mikrocontrollern laufen können.

LNNs lassen sich besser interpretieren als komplexere neuronale Black-Box-Netze, weil es einfacher ist, zu erkennen, wie die Dateneingaben die Ausgaben beeinflussen.

Wofür werden neuronale Netze verwendet?

Wie bereits erwähnt, werden LNNs im Allgemeinen für die Verarbeitung von Zeitreihendaten und für Vorhersagen auf kleineren Computern verwendet. Der geringere Rechenbedarf dieser Lösungen bedeutet, dass sie auf Geräten mit minimaler Rechenleistung laufen können, von Robotern bis zu Geräten am Netzrand.

Dies macht sie ideal für eine breite Palette von Anwendungsfällen, die von Natural Language Processing (NLP) und Videoverarbeitung bis hin zu autonomer Robotik, Fahrzeugen, Drohnen und medizinischer Diagnose reichen.

LNNs und automatisierte Drohnen

Im April 2023 stellten Forscher des MIT Forschungsergebnisse vor, die zeigen, wie Liquid Neural Networks eingesetzt werden könnten, um Luftdrohnen beizubringen, zu einem bestimmten Objekt zu navigieren und in komplexen Umgebungen wie Wäldern und Stadtlandschaften richtig zu reagieren.

Daniela Rus, CSAIL-Direktorin und Andrew and Erna Viterbi Professor of Electrical Engineering and Computer Science am MIT, erklärte:

“Unsere Experimente zeigen, dass wir einer Drohne effektiv beibringen können, ein Objekt im Sommer in einem Wald zu orten und das Modell dann im Winter in einer völlig anderen Umgebung oder sogar in städtischen Umgebungen mit unterschiedlichen Aufgaben wie Suchen und Verfolgen einzusetzen.”

Traditionelle Deep Learning Lösungen wären für diesen Einsatz schlecht geeignet gewesen, da sie sich nicht an veränderte Bedingungen anpassen konnten, insbesondere wenn man bedenkt, dass eine Drohne eine reale Umgebung durchqueren und dabei Hindernissen ausweichen musste.

“Diese Anpassungsfähigkeit wird durch die kausalen Grundlagen unserer Lösungen ermöglicht. Diese flexiblen Algorithmen könnten eines Tages bei der Entscheidungsfindung auf der Grundlage von Datenströmen helfen, die sich im Laufe der Zeit ändern, wie z. B. bei der medizinischen Diagnose und bei Anwendungen für autonomes Fahren.”

Liquid Neural Networks und autonome Fahrzeuge

Ein weiterer Test, der vom MIT durchgeführt wurde, untersuchte, wie Liquid Neural Networks verwendet werden könnten, um autonomen Fahrzeugen bei der Navigation zu helfen. Bei diesem Test rüsteten die Forscher ein Auto mit einer Kamera und Recheneinheiten aus und ließen dann menschliche Teilnehmer das Auto fahren.

Die eingebauten Kameras zeichneten den Winkel auf, in dem die Menschen das Lenkrad hielten, und leiteten diese Daten an eine Trainingsplattform weiter, die dem Liquid Neural Network beibrachte, das Lenkrad dem im Bild gezeigten Winkel zuzuordnen. Das Netzwerk nutzte dann diese Kameraeingaben, um das Fahrzeug autonom zu lenken.

Auf hohem Niveau zeigte diese Übung, wie Liquid Neural Networks verwendet werden können, um neuronale Steuerungen zu entwerfen, die ein autonomes Fahrzeugsteuerungssystem unterstützen.

Vorteile von LNNs

Liquid Neural Networks bieten eine Reihe von zentralen Vorteilen. Some of these are:

• Echtzeit-Entscheidungsfähigkeit;
• Fähigkeit zur Verarbeitung von Zeitreihendaten;
• Schnell auf ein breites Spektrum von Datenverteilungen reagieren;
• Beständig und in der Lage, anomale oder verrauschte Daten herauszufiltern;
• Mehr Interpretierbarkeit als ein Black Box Algorithmus für maschinelles Lernen;
• Reduzierte Rechenkosten.

Herausforderungen von LNNs

Während Liquid Neural Networks sehr nützlich sind, sind sie nicht ohne eine Reihe von einzigartigen Herausforderungen. Dazu gehören:

• Schwierigkeiten bei der Verarbeitung statischer oder fester Daten
• Trainingsschwierigkeiten aufgrund erhöhter oder verschwindender Gradienten;
• Einschränkungen beim Erlernen langfristiger Abhängigkeiten aufgrund von Gradientenproblemen;
• Mangel an umfangreicher Forschung zur Funktionsweise von Liquid Neural Networks;
• Der zeitaufwändige Prozess der Parameterabstimmung;
• Herausforderungen bei der Verarbeitung statischer oder fester Daten.

Fazit

Liquid Neural Networks sind eine wichtige Innovation, da sie bei der Verarbeitung von Zeitreihendaten helfen und die Tür zu einigen interessanten Anwendungsfällen bei der Steuerung von Drohnen und autonomen Fahrzeugen öffnen.