Forecasting.ai

Le blog de Forecasting AI

Blog

>

Actualités

>

Réseau de neurones liquide, la nouvelle donne

Réseau de neurones liquide, la nouvelle donne

Par G. H.

|

14 octobre 2023

|

Actualités

|

fren

Le laboratoire d'intelligence artificielle CSAIL du MIT a récemment dévoilé une nouvelle architecture de deep learning appelée "réseaux de neurones liquides". Cette innovation promet de bouleverser le paysage de l'IA, en particulier dans les domaines de la robotique et des véhicules autonomes.


Avec le succès des modèles de langage à grande échelle (LLM) tels que ChatGPT, la course à la création de réseaux neuronaux de plus en plus vastes était lancée. Cependant, ces modèles massifs nécessitent une puissance de calcul et une mémoire souvent inaccessibles pour certaines applications.

Réponse du CSAIL : Les Réseaux de Neurones Liquides


Pour surmonter ces limitations, le CSAIL du MIT a imaginé les réseaux de neurones liquides. Cette nouvelle approche offre une solution compacte, adaptable et efficace pour résoudre divers problèmes d'IA, offrant une alternative aux modèles d'apprentissage profond traditionnels.

Comprendre les Réseaux de Neurones Liquides


Selon la directrice du CSAIL, Daniel Rus, l'idée principale était de créer des réseaux de neurones précis et efficaces qui peuvent fonctionner sur les ordinateurs embarqués des robots sans nécessiter une connexion au cloud. Inspirés par la biologie, en particulier les neurones du ver C. Elegans, ces réseaux se veulent adaptatifs et performants.

Les réseaux de neurones liquides se distinguent par l'utilisation d'équations différentielles ajustables dynamiquement, offrant une capacité unique d'adaptation à de nouvelles situations après l'entraînement.

Le Secret de leur Efficacité : Des Équations Différentielles Ajustables Dynamiquement


En simplifiant le concept, ces réseaux augmentent la capacité d'apprentissage de représentation d'un neurone grâce à deux insights. Le premier insight est un "modèle d'espace d'états" qui accroît la stabilité des neurones pendant l'apprentissage. Les non-linéarités introduites par la suite améliorent l'expressivité du modèle.

L'utilisation d'une architecture de câblage différente permet des connexions latérales et récurrentes au sein de la même couche, facilitant l'apprentissage de modèles en temps continu.

Avantages Clés des Réseaux de Neurones Liquides


La compacité est l'un des principaux avantages des réseaux de neurones liquides. Alors qu'un réseau profond classique nécessite environ 100 000 neurones artificiels pour une tâche donnée, les chercheurs du CSAIL ont réussi à accomplir la même tâche avec seulement 19 neurones.

Cette compacité offre plusieurs avantages significatifs, notamment la possibilité de fonctionner sur des ordinateurs embarqués de robots et une plus grande interprétabilité. Les réseaux liquides semblent également mieux comprendre les relations causales, surmontant une difficulté fréquente des systèmes de deep learning traditionnels.

Révolution Potentielle pour la Robotique et les Véhicules Autonomes


Les réseaux de neurones liquides offrent une prise en charge efficace des flux de données continus, les rendant particulièrement adaptés aux applications exigeantes en puissance de calcul ou nécessitant une sécurité robuste, comme la robotique ou les véhicules autonomes.

Les chercheurs du MIT ont déjà testé les réseaux de neurones liquides sur des configurations avec un seul robot, avec des résultats prometteurs. Ils prévoient d'étendre leurs tests à des systèmes multi-robot et d'autres types de données pour explorer davantage les capacités et limites de cette nouvelle architecture.