Le débat sur la consommation d’énergie des systèmes d’IA n’est pas purement politique. Les centres de données et le matériel à haute échelle consomment d’énormes quantités d’énergie et l’augmentation constante de la taille des modèles ne fait que renforcer cette tendance. « Nous ne pouvons pas passer à l’échelle indéfiniment », explique Klimovic, « c’est pourquoi la recherche de solutions plus durables est essentielle »
Architectures de modèles économes
Une approche consiste à introduire la sparsity (réduction de la densité) dans les réseaux neuronaux. Les modèles n’activent alors que des parties pertinentes de leur système, alors que les approches classiques utilisent toujours l’ensemble du réseau. les modèles « Mixture-of-Experts » suivent cette logique. Ils répartissent les requêtes de manière ciblée sur des modules spécialisés. Cela permet d’économiser de l’énergie sans compromettre la qualité.
Les GPU sont précieux, mais souvent inutilisés
Klimovic voit un problème central dans la faible utilisation des GPU, bien que ceux-ci consomment énormément d’énergie. Les goulets d’étranglement apparaissent notamment lors du prétraitement des données par les GPU et lors de la communication entre plusieurs GPU. L’utilisation de la puissance de calcul est souvent inférieure à 50 pour cent. De nouvelles solutions logicielles sont nécessaires pour éviter que de précieuses ressources ne soient inutilisées.
Efficacité grâce à des frameworks intelligents
Votre groupe de recherche développe des systèmes qui mettent l’accent sur l’automatisation et l’optimisation.
Sailor est une plate-forme qui parallélise automatiquement les tâches d’entraînement via des GPU, ce qui améliore l’efficacité des GPU.
Modyn et Mixtera sont des systèmes de sélection de données plus intelligents qui entraînent les modèles plus rapidement et avec moins de données.
DeltaZip est une plate-forme qui gère efficacement les variantes de modèles finement ajustées. Elle compresse les différences entre les modèles (« deltas »), ce qui réduit les temps de chargement et rend l’inférence plus rapide et moins gourmande en ressources.
Durabilité de la formation et de l’inférence
Les gains d’efficacité jouent un rôle clé non seulement dans la formation, mais aussi dans l’application, appelée inférence. Avec des milliards d’interactions quotidiennes avec des chatbots, la préservation des ressources énergétiques et matérielles devient une urgence mondiale.
Liberté scientifique et science ouverte
Klimovic souligne l’importance de la recherche académique. Moins contrainte par des impératifs économiques, elle peut poursuivre des innovations à long terme. Elle souligne le rôle de l’initiative suisse sur l’IA, lancée en 2023 et basée sur le supercalculateur Alps du CSCS, quasiment neutre pour le climat. Avec plus de 10 millions d’heures de GPU et 20 millions de francs suisses de financement, il s’agit de la plus grande initiative de science ouverte et de source ouverte au monde pour les modèles de base de l’IA.
La révolution de l’IA ne sera durable que si l’efficacité devient la ligne directrice. En matière d’algorithmes, de matériel et d’architecture système. Des projets comme Sailor, Modyn ou DeltaZip montrent des moyens concrets de combiner d’énormes économies d’énergie avec l’excellence technique. Pour Klimovic, une chose est sûre : « À l’avenir, l’IA de haute qualité ne sera pas seulement synonyme d’intelligence, mais aussi de préservation des ressources »
