Il dibattito sul consumo energetico dei sistemi AI non è solo una questione politica. I centri dati e l’hardware altamente scalato consumano enormi quantità di energia e il costante aumento delle dimensioni dei modelli aggrava ulteriormente questa tendenza. “Non possiamo scalare all’infinito”, spiega Klimovic, “quindi la ricerca di soluzioni più sostenibili è essenziale”
Architetture di modelli economici
Un approccio è l’introduzione della sparsità (riduzione della densità) nelle reti neurali. I modelli attivano solo le parti rilevanti del loro sistema, mentre gli approcci classici utilizzano sempre l’intera rete. “I modelli Mixture-of-experts seguono questa logica. Distribuiscono le query in modo specifico a moduli specializzati. Questo consente di risparmiare energia senza sacrificare la qualità.
Le GPU sono preziose, ma spesso inutilizzate
Klimovic vede un problema centrale nel basso utilizzo delle GPU, anche se consumano un’enorme quantità di energia. I colli di bottiglia si verificano in particolare durante la pre-elaborazione dei dati e la comunicazione tra diverse GPU. L’utilizzo del computer è spesso inferiore al 50 percento. Sono necessarie nuove soluzioni software per evitare che risorse preziose rimangano inattive.
Efficienza attraverso framework intelligenti
Il suo gruppo di ricerca sviluppa sistemi che si concentrano sull’automazione e sull’ottimizzazione.
Sailor è una piattaforma che parallelizza automaticamente i lavori di formazione tramite GPU, aumentando così l’efficienza della GPU.
Modyn e Mixtera sono sistemi di selezione dei dati più intelligenti, che addestrano i modelli più velocemente e con meno dati.
DeltaZip è una piattaforma che gestisce in modo efficiente le varianti di modello perfezionate. Comprime le differenze tra i modelli (“delta”), riducendo i tempi di caricamento e rendendo l’inferenza più veloce ed efficiente in termini di risorse.
Sostenibilità nella formazione e nell’inferenza
I guadagni di efficienza giocano un ruolo chiave non solo nella formazione, ma anche nell’applicazione, nota come inferenza. In vista dei miliardi di interazioni quotidiane con i chatbot, la conservazione delle risorse energetiche e hardware sta diventando un compito globalmente urgente.
Libertà accademica e scienza aperta
Klimovic sottolinea l’importanza della ricerca accademica. Meno guidata da vincoli economici, può perseguire innovazioni a lungo termine. Sottolinea il ruolo dell’iniziativa AI svizzera, che è stata lanciata nel 2023 e si basa sul supercomputer Alps del CSCS, quasi neutrale dal punto di vista climatico. Con oltre 10 milioni di ore di GPU e 20 milioni di franchi svizzeri di finanziamento, è la più grande iniziativa open science e open source del mondo per i modelli di AI di base.
La rivoluzione dell’AI sarà sostenibile solo se l’efficienza diventerà il principio guida. Negli algoritmi, nell’hardware e nelle architetture di sistema. Progetti come Sailor, Modyn e DeltaZip mostrano modi concreti in cui un enorme risparmio energetico può essere combinato con l’eccellenza tecnica. Per Klimovic, una cosa è certa: “In futuro, l’AI di alta qualità non significherà solo intelligenza, ma anche conservazione delle risorse”
