Die Debatte um den Stromverbrauch von KI-Systemen ist kein reines Politikum. Rechenzentren und hochskalierte Hardware verschlingen enorme Energiemengen und die stetige Vergrösserung von Modellen verstärkt diese Tendenz weiter. «Wir können nicht unbegrenzt skalieren», erklärt Klimovic, «daher ist die Forschung nach nachhaltigeren Lösungen unerlässlich.»
Sparsame Modellarchitekturen
Ein Ansatz ist die Einführung von Sparsity (Dichte-Reduktion) in neuronalen Netzen. Modelle aktivieren dabei nur relevante Teile ihres Systems, während klassische Ansätze stets das gesamte Netz nutzen. «Mixture-of-Experts»-Modelle folgen dieser Logik. Sie verteilen Anfragen gezielt auf spezialisierte Module. Das spart Energie, ohne Qualitätseinbussen zu verursachen.
GPUs sine wertvoll, aber oft ungenutzt
Ein zentrales Problem sieht Klimovic in der geringen Auslastung von GPUs, obwohl diese enorm viel Strom verbrauchen. Engpässe entstehen insbesondere bei der Datenvorverarbeitung durch sowie bei der Kommunikation zwischen mehreren GPUs. Oft liegt die Rechenauslastung bei unter 50 Prozent. Damit wertvolle Ressourcen nicht brachliegen, braucht es neue Softwarelösungen.
Effizienz durch intelligente Frameworks
Ihre Forschungsgruppe entwickelt Systeme, die Automatisierung und Optimierung in den Vordergrund stellen.
Sailor ist eine Plattform, die Trainings-Jobs automatisch über GPUs parallelisiert und dadurch die GPU-Effizienz steigert.
Modyn und Mixtera sind Systeme für eine intelligentere Datenauswahl, die Modelle schneller und mit weniger Daten trainieren.
DeltaZip ist eine Plattform, die feingetunte Modellvarianten effizient verwaltet. Sie komprimiert Unterschiede zwischen Modellen («Deltas»), wodurch Ladezeiten sinken und Inferenz schneller und ressourcenschonender abläuft.
Nachhaltigkeit in Training und Inferenz
Nicht nur beim Training, sondern auch in der Anwendung, der sogenannten Inferenz, spielen Effizienzgewinne eine Schlüsselrolle. Angesichts der Milliarden täglicher Interaktionen mit Chatbots wird die Schonung von Energie- und Hardware-Ressourcen zu einer global dringenden Aufgabe.
Wissenschaftliche Freiheit und Open Science
Klimovic betont die Bedeutung der akademischen Forschung. Weniger durch wirtschaftliche Zwänge getrieben, kann sie langfristige Innovationen verfolgen. Sie hebt die Rolle der Schweizer KI-Initiative hervor, die 2023 gestartet ist und auf dem nahezu klimaneutralen Supercomputer Alps des CSCS basiert. Mit über 10 Millionen GPU-Stunden und 20 Millionen Franken Förderung ist sie die weltweit grösste Open-Science- und Open-Source-Initiative für KI-Grundlagenmodelle.
Die KI-Revolution ist nur dann nachhaltig, wenn Effizienz zur Leitlinie wird. Bei Algorithmen, Hardware und Systemarchitekturen. Projekte wie Sailor, Modyn oder DeltaZip zeigen konkrete Wege auf, wie sich enorme Energieeinsparungen mit technischer Exzellenz verbinden lassen. Für Klimovic steht fest, «Hochwertige KI bedeutet in Zukunft nicht nur Intelligenz, sondern auch Ressourcenschonung.»
