Liquid Neural Network (LNN)

Wat is een Liquid Neural Network?

Een Liquid Neural Network (LNN), ook wel vloeibaar neuraal netwerk genoemd, is een digitaal neuraal netwerk dat is opgebouwd uit de dynamische architectuur van neuronen. Deze neuronen zijn in staat om tijdreeksgegevens te verwerken, terwijl ze voorspellingen doen op basis van waarnemingen en zich voortdurend aanpassen aan nieuwe input.

Door hun aanpasbare aard kunnen ze voortdurend leren en zich aanpassen en uiteindelijk tijdreeksgegevens effectiever verwerken dan traditionele neurale netwerken.

LNN’s zijn oorspronkelijk ontwikkeld door het Computer Science and Artificial Intelligence Laboratory van MIT (CSAIL). Het doel was om met behulp van machine learning (ML) een tool te creëren die tijdens het gebruik kan leren en zich kan aanpassen aan nieuwe input.

Dit concept vond zijn inspiratie in de microscopische nematode C.elegans, een worm met slechts 302 neuronen in zijn zenuwstelsel, maar toch in staat om dynamisch te reageren op zijn omgeving.

Vloeibare neurale netwerken versus neurale netwerken

Een van de belangrijkste verschillen tussen LNN’s en neurale netwerken is dat de eerste dynamische verbindingen tussen neuronen gebruikt, terwijl traditionele neurale netwerken vaste verbindingen en gewichten tussen elke neuron hebben.

Deze flexibele verbindingen betekenen dat vloeibare neurale netwerken zich voortdurend kunnen aanpassen aan en leren van nieuwe gegevensinvoer op een manier waarop traditionele neurale netwerken dat niet kunnen, omdat ze afhankelijk zijn van hun trainingsgegevens. Dit maakt LNN’s beter in het verwerken van tijdreeksgegevens, maar is ook minder effectief in het verwerken van statische of vaste gegevens dan andere neurale netwerken.

Het is belangrijk om op te merken dat de dynamische architectuur van vloeibare neurale netwerken ook minder neuronen vereist dan een neuraal netwerk en daardoor minder rekenkracht verbruikt. Omdat ze zo weinig rekenkracht nodig hebben, kunnen ze worden gebruikt op lichte computers en hardware zoals microcontrollers.

LNN’s zijn beter interpreteerbaar dan complexere black-box neurale netwerken omdat het eenvoudiger is om te zien hoe gegevensinvoer de uitvoer beïnvloedt.

Waar worden Liquid Neural Networks voor gebruikt?

Zoals hierboven vermeld, worden LNN’s over het algemeen gebruikt voor het verwerken en voorspellen van tijdreeksgegevens op kleinere computers. Omdat deze oplossingen minder rekenkracht nodig hebben, kunnen ze draaien op apparaten met minimale rekenkracht, van robots tot apparaten aan de rand van het netwerk.

Dit maakt ze ideaal voor een breed scala aan gebruikssituaties, van natural language processing (NPL) en videoverwerking tot autonome robotica, voertuigen, drones en medische diagnose.

LNN’s en geautomatiseerde drones

In april 2023 onthulden MIT-onderzoekers een onderzoek dat aantoont hoe vloeibare neurale netwerken kunnen worden gebruikt om drones te leren naar een bepaald object te navigeren en correct te reageren in complexe omgevingen zoals bossen en stedelijke landschappen.

Daniela Rus, directeur van CSAIL en hoogleraar elektrotechniek en computerwetenschappen aan het MIT, legt uit

“Onze experimenten tonen aan dat we een drone effectief kunnen leren om een object te lokaliseren in een bos in de zomer en vervolgens het model kunnen inzetten in de winter, met een enorm andere omgeving, of zelfs in stedelijke omgevingen, met gevarieerde taken zoals zoeken en volgen.”

Traditionele deep learning-toepassingen zouden slecht geschikt zijn geweest voor dit gebruik vanwege hun gebrek aan vermogen om zich aan te passen aan veranderende omstandigheden, vooral als je bedenkt dat een drone een echte omgeving moet doorkruisen en daarbij obstakels moet ontwijken.

“Dit aanpassingsvermogen wordt mogelijk gemaakt door de causale onderbouwing van onze oplossingen. Deze flexibele algoritmen zouden op een dag kunnen helpen bij besluitvorming op basis van gegevensstromen die in de loop van de tijd veranderen, zoals medische diagnoses en toepassingen voor autonoom rijden.”

Liquid Neural Networks en autonome voertuigen

Een andere test van MIT onderzocht hoe LNN’s gebruikt kunnen worden om autonome voertuigen te helpen navigeren. In deze test rustten onderzoekers een auto uit met een camera en rekeneenheden en lieten vervolgens menselijke deelnemers de auto besturen.

De camera’s aan boord registreerden de hoek waaronder de mensen het stuurwiel vasthielden en gaven deze gegevens door aan een trainingsplatform, dat het vloeibare neurale netwerk leerde om het stuurwiel in kaart te brengen in de hoek die in het beeld werd getoond. Het netwerk gebruikte vervolgens deze camera-input om het voertuig autonoom te besturen.

Deze oefening liet zien hoe vloeibare neurale netwerken kunnen worden gebruikt om neurale controllers te ontwerpen die een autonoom voertuigbesturingssysteem helpen aandrijven.

Voordelen van LNN’s

Liquid Neural Networks bieden een aantal belangrijke voordelen. Enkele daarvan zijn:

Real-time beslissingsmogelijkheden;

• Het vermogen om tijdreeksgegevens te verwerken;
• Snel reageren op een breed scala aan gegevensdistributies;
• Veerkrachtig en in staat om afwijkende of lawaaierige gegevens uit te filteren;
• Meer interpreteerbaarheid dan een black-box machine learning algoritme;
• Lagere computerkosten.

Uitdagingen van LNN’s

Hoewel LNN’s erg nuttig zijn, zijn ze niet zonder hun eigen unieke uitdagingen. Deze omvatten:

• Moeite met het verwerken van statische of vaste gegevens
• Moeilijkheden bij het trainen door verhoogde of verdwijnende gradiënten;
• Beperkingen in het leren van langetermijninzichten door gradiëntproblemen;
• Gebrek aan uitgebreid onderzoek naar de werking van LLN’s;
• Het tijdrovende proces van parameter-tuning;
• Uitdagingen bij het verwerken van statische of vaste gegevens.

Conclusie

Liquid Neural Networks zijn een belangrijke innovatie vanwege hun vermogen om te helpen bij het verwerken van tijdreeksgegevens en openen de deur naar een aantal spannende gebruikssituaties bij het besturen van drones en autonome voertuigen.