Il existe une solution potentielle sur les cartes aux problèmes de dépenses d’énergie qui affligent la formation à l’IA, et cela semble simple : il suffit de renforcer les “synapses” qui déplacent les électrons à travers une matrice de mémoire.

Le professeur d’ingénierie électrique et des systèmes Shantanu Chakrabartty et deux de ses collègues de l’Université de Washington à St Louis, aux États-Unis, ont rédigé un article publié dans Nature papier expliquant comment ils ont utilisé les propriétés naturelles des électrons pour réduire l’énergie utilisée pour former des modèles d’apprentissage automatique.

Dans le cadre du projet, les chercheurs ont tenté de construire une matrice synaptique d’apprentissage en mémoire qui aurait des synapses numériques qui fonctionnent de manière dynamique plutôt que statique, de sorte qu’elles n’ont besoin d’énergie que lorsqu’elles changent d’état, mais pas pour la maintenir.

Pour prouver leur concept, l’équipe a construit des circuits CMOS avec des barrières d’énergie qui, selon eux, étaient suffisamment solides pour être non volatiles et deviendraient plus solides (c’est-à-dire mieux capables de maintenir la non-volatilité) au fur et à mesure que l’entraînement de la matrice progressait.

Le résultat, a déclaré Chakrabartty, est un réseau plus efficace qui pourrait réduire de 100 fois les besoins énergétiques de la formation ML, “et c’est une projection pessimiste”, a déclaré Chakrabartty. Le registre.

Cette amélioration de 100x concerne un système à petite échelle, a déclaré Chakrabartty. Les modèles à plus grande échelle montreraient encore plus d’améliorations, surtout si la mémoire était intégrée au processeur sur une seule plaquette, ce sur quoi Chakrabartty a déclaré que son équipe et lui travaillaient actuellement.


Comment activer vos synapses numériques

La formation de modèles d’apprentissage automatique est incroyablement inefficace sur le plan énergétique. Université de Washington à Saint-Louis en disant que la formation d’une seule IA haut de gamme était responsable de plus de 625 000 livres (283,5 tonnes métriques) d’émissions de CO2 en 2019, soit près de cinq fois ce qu’une voiture moyenne émettra au cours de sa durée de vie. D’autres chiffres indiquent que l’entraînement d’un modèle GPT-3 peut brûler la quantité d’énergie nécessaire pour conduire une voiture sur la Lune et en revenir.

Le problème, tel que le voit l’article, réside dans les ponts entre les nœuds de calcul dans les matrices de mémoire, que l’article compare aux synapses qui relient les neurones. Dans un cerveau animal, l’apprentissage renforce les synapses pour qu’elles se déclenchent plus efficacement, mais lors du calcul, chaque synapse agit de manière statique. Concrètement, cela signifie que chaque fois qu’un électron se déplace à travers une synapse, un “interrupteur” doit être basculé, ce qui dépense de l’énergie pour polariser la synapse, puis doit maintenir cette dépense d’énergie pour maintenir la polarité.

Le modèle développé par Chakrabartty et son équipe contourne cela et crée sa synapse la plus efficace, en utilisant Fowler-Nordheim Dynamic Ananlog Memory (FN-DAM).

La partie “FN” de FN-DAM fait référence à la formule qui permet à un électron de traverser une barrière électrique triangulaire isolée électriquement (dans ce cas) par des barrières de dioxyde de silicium.

Ces barrières sont suffisamment solides pour que même avec l’énergie retirée, les électrons ne puissent toujours pas s’échapper. Réalimentez l’alimentation d’une manière qui provoque le changement d’état de la barrière et les électrons piégés dans le tunnel synaptique s’éloignent.

Chakrabartty a déclaré que les travaux de recherche de son équipe montrent que leur conception est capable, mais a averti que le FN-DAM est toujours confronté à un certain nombre d’obstacles à la mise à l’échelle, tels que sa résolution et sa précision de mesure. ®