Lasse: Herzlich willkommen bei Almost Intelligent, dem Podcast zu natürlicher und künstlicher Intelligenz. Ich bin Lasse und bei mir ist wie immer... André: André. Willkommen aus dem Urlaub! Lasse: Hi! genau. Ich bin quasi noch im Urlaub, du bist glaub ich wieder daheim. André: Ich bin gerade wieder zu Hause angekommen. Lasse: Genau, dann welches Thema hast du denn heute mitgebracht? Passt dazu noch. André: Es passt so ungefähr, ich denke zu den warmen Temperaturen aktuell passt es ganz gut. Ich habe mir das Thema KI und Klima, beziehungsweise Nachhaltigkeit ist KI eigentlich nachhaltig. Wann ist es das, was kostet uns denn eigentlich KI an Energie mitgebracht. Lasse: Das klingt spannend und passt ja auch. Dann legen wir los. André: Genau, also ich habe mir vorgenommen einmal ein wenig aufzubereiten, was sind denn die Kosten, das heißt gerade im Form von Energie, was kosten aktuelle Modelle, was ist die der Gesamtenergie-Einsatz, den wir aktuell haben und dann auch zukünftig. Und dann können wir nachher noch mal nachdenken gemeinsam, was das denn bedeutet. In dem Sinne ist KI eigentlich nachhaltig, wenn wir das nutzen und was bringt uns das und was kostet uns das. Wenn wir darauf schauen, tatsächlich muss ich sagen, aktuelle Zahlen waren gar nicht so einfach. Die letzte richtig große EEA-Studie ist von 2024, ist von 2025, das heißt die Zahlen sind aus 2024. Nichtsdestotrotz können wir von da aus mal einigermaßen gut sehen, es kosten wird. Wenn wir da auf die Zahlen gucken, wir 2024 für den Einsatz von Rechenzentren, von Strom vor allen Dingen im Bereich von 415 Terawattstunden für Training und Inferenz. Das heißt also das Produzieren, nachher das Arbeiten mit der KI. und damit bei ungefähr 1,5 Prozent des gesamten menschlichen Stromverbrauchs. Ich sage Stromverbrauch, obwohl ich als Physiker das nicht sagen sollte, das ist glaube ich umgangssprachlich. Es ist glaube ich in Ordnung. 415 TWh, 1,5 % dessen was wir als Menschheit insgesamt genutzt haben, klingt auf jeden Fall schon eine ganze Menge. Würde ich sagen, ist aber durch den großen Einsatz von KI durchaus auch ein guter valider Punkt, ist auf jeden Fall glaubwürdig. Die Rechenzentren sind da. Wir haben direkt ja auch schon gesehen, dass gerade XAI, damals Elon Musk, angefangen hat, alte Gaskraftwerke zu kaufen, die nach Amerika zu fahren und da wieder aufzubauen und damit ganze Landschaften zu verschandeln, dadurch dass dann Smog wieder entsteht in Gegenden, wo man die letzten 20, 30 Jahre eben keinen Smog gesehen hat. Wenn wir auf die Zukunft gucken... Der EEA geht davon aus, also das ist das World Energy Outlook Special Report on Energy and AI, den ich mir angeguckt habe. Dann sieht es so aus, dass ich das bis 2030 wahrscheinlich mindestens verdoppeln wird, also auf 3 % dann 945 Terawattstunden und 2035 nochmal fast verdoppeln mit wahrscheinlich deutlich über 1000 Terawattstunden. wenn wir so weiter wachsen, wie wir bisher gewachsen sind. Das kommt, glaube ich, sehr dann drauf an. Lasse: Du meintest 3 % nur für KI? André: Ja. Lasse: Das finde ich insofern spannend, weil ich habe vor Jahren schon mal eine Studie gelesen. Damals waren 10 % des gesamten Stroms weltweit für das Internet. Das war aus 2019, also auch noch nicht ewig her. Wenn man jetzt allein bei 3 % da ist und damit Verdopplungen rechnet, dann kann man sich ja ausrechnen, wie das realistisch da geworden ist. André: Genau, also ich glaube, ist ein signifikanter Anteil dessen, was wir an Arbeit mit Computern, mit dem Internet machen, liegt sicherlich in unserem KI-Bereich. Ich würde damit also sagen, es ist auf jeden Fall ein relevanter Faktor. Es ist nicht so unglaublich krass. Ich habe mir auch einmal ausrechnen lassen, wie sieht denn das aus, wenn man eine Anfrage, eine einzelne Anfrage sich anschaut und da gab es Skalierungseffekte. Also während es am Anfang noch so war, dass das Training natürlich dramatisch war und dann haben ein paar tausend Leute weltweit KI benutzt, zwar viel, aber noch nicht so intensiv, waren wir eher so bei drei, vier Wattstunden. Es gab jetzt eine unabhängige Untersuchung von Epoch AI im Februar 2025. Das ist nicht die aktuellste Zahl. Damals für GPT-4O, da waren es 0,3 Wattstunden, die dann eine Anfrage gemacht haben. Das wären 150 Gramm CO2. Das ist noch, glaube ich, durchaus okay, wenn man Lasse: Naja. André: sich das... 0,150 mg CO2. Lasse: Ja, ja, Warum ich einhake? Also du hast recht. Es ist, finde ich, auch deutlich besser geworden und das habe ich auch immer mal wieder gelesen, dass während früher dieser große Brocken des Lernens ja extrem viel Energie verschlungen hat, ist das jetzt mit der Massennutzung eher übergegangen auf, dass es halt durch viele kleine Verbrauche hochgeht. Aber was ich halt auch mal gelesen habe, ist, dass es immer noch auch mit den 0,3 Wattstunden 10 mal so viel wie eine Google-Suche ist. Dadurch, dass jede Google-Suche jetzt ja aber de facto das beinhaltet, ist das natürlich schon ein Thema und dadurch, dass viele Leute die entsprechenden Tools ja auch mehr oder weniger als Ersatz für Google verwenden. André: Auf jeden Fall. Und ich glaube, da sollten wir auch weiterhin drüber nachdenken, ob das wirklich dann das Sinnvolle ist. Da kommen wir gleich dann in dem Aspekt Nachhaltigkeit rein. Das ist auf jeden Fall so. Und ich glaube auch, dass es ja eben nicht nur die Leute Google suchen nutzen, sondern tatsächlich dann das hochtrainierte TGPT Modell oder Gemini Modell oder Entropic oder Mistral, das dann eben doch noch mal mehr verbraucht. da drauf guckt bei dem unterschied da die google suche sind wir wahrscheinlich bei den 0,3 watt stunden wenn ich da hingegen jetzt das aktuelle fable einsetze um das die gleiche frage zu stellen sind automatisch zehn mal mehr token teilweise eher 30 40 mal mehr token durchgerechnet worden. Das heißt da sind wir dann eher bei den drei vielleicht sogar 30 Wattstunden, die dann eine Anfrage gebraucht hat. Insofern da würde ich dann auf jeden Fall mal appellieren an uns alle die Modelle zu nutzen und nicht das super high reasoning anzustellen, nur weil ich irgendwie eine kleine Frage habe, die halt auch das kleine schnelle Modell beantworten kann. Lasse: Ja, und also ich hab auch mal im Internet die Zahl gelesen, eine Wattstunde für ein Bild, das ist auch schon viel besser als früher, aber es ist André: Nope. Lasse: halt den Faktor 3 mehr und wenn ich dann in so Späße wie Videogenerierungen und sowas lande ich natürlich bei sehr, vielen Bildern, die ich auf einmal generiere. Frage für mein André: Gute Nacht. Lasse: technisches Verständnis an dich als Physiker. Was ist da der Haupttreiber? Das ist immer noch die Kühlung, oder? André: Aktuell ungefähr 50-50. Das ist schon so, dass die Grafikkarten selber natürlich auch Hochleistungsrechner sind, die die Energie aufnehmen, das zu umzusetzen. Die Kühlung braucht etwa, je nachdem wo die Kühlung steht und wie gut das funktioniert, 35 bis 50 Prozent der Energie. Lasse: Also bauen wir unsere Rechenzentren zukünftig in der Antarktis André: Ja, das Nvidia hat eine schöne Studie aktuell, die Grafikkarten gibt es noch nicht zu kaufen, rausgebracht, wo sie flüssigkeitsgekühlte, man sagt in der Regel wassergekühlte, das aber kein Wasser, was da benutzt wird, aber flüssigkeitsgekühlte Systeme genommen, die kein Frischwasser brauchen, die direkt abdampfen und die dann über Wärmetauscher funktionieren würden und die den Kühlstromeinsatz durchaus deutlich verringern könnten. Insofern auch daran wird gearbeitet, dass wir da das auch deutlich reduzieren können. Ich glaube aber nicht, dass damit insgesamt der Energieverbrauch reduziert wird, sondern die alten Rechenzentren sind da, insofern werden wir die auch erst noch Lasse: Ja. André: mal weiterhin benutzen und bis so eine neue Generation Grafikkarten wirklich im Einsatz ist, dauert dann, dann sind wir eher bei frühestens 2030 würde ich mal sagen, dann diese ersten Rechenzentren da einen Start geben, die eine deutlich bessere Kühlung verbrauchen. verbaut haben. Allerdings, klar, ich natürlich irgendwie ins nördliche Finnland oder Norwegen gehe oder ins nördliche Kanada, habe ich natürlich eine deutlich bessere Kühlung und deswegen komme ich da auch mit deutlich weniger Energie aus, das Ganze zu machen. Lasse: Also ist es eigentlich falsch, dass wir in Deutschland die Rechenzentren in Frankfurt stehen haben und sie gehören eigentlich an die Küste, da ist zwar nicht viel kühler oder in die Alpen. André: Ja, also alleine deshalb, weil da auch mehr erneuerbarer Strom verfügbar ist direkt, wäre das sinnvoll. Lasse: Genau, ich stelle mir die Frage immer Küste, wir kriegen den Strom nicht zu den Bayern runter, weil die Netze nicht gebaut werden. Eigentlich müssten André: Ja. Lasse: doch Schleswig-Holstein, Niedersachsen und Mecklenburg-Vorpommern sagen, wir bauen hier die Rechenzentren und nehmen den Strom davon direkt ab. André: Also es gibt zwei Punkte, wo Rechenzentren gebaut Ein paar mehr Punkte natürlich. Aber die Energie ist ein Punkt. Das andere ist auch, wie gut das Internet angebunden Das heißt, du möchtest in der Nähe des Internet-Backbones sein. da wo wirklich viel ... Lasse: Okay, Frankfurt in Deutschland. André: Das ist nun mal Frankfurt. Ich als Kasseler kann sagen, der geht auch hier lang. Insofern, da könnte man auch noch hingehen. Wir haben kein riesengroßes Rechenzentrum hier. Aber natürlich, da wäre es vielleicht auch einfacher, ein dickes Glasfaserkabel an die Küste zu legen, als andersrum dann Millionen Kilometer von Energietrassen, Lasse: 1000 Leitungen. André: Stromtrassen, runterzulegen. Also ja, das ist auf jeden Fall ein Punkt. Natürlich sind auch die wie kommen Menschen damit zurecht, dass auf einmal ein Rechenzentrum da steht. glaube, dass das auch, wenn man aus Metropolregionen rausgeht, bisschen einfacher wird. Meistens da wo schon Windkraftwerke stehen, könnte ich mir vorstellen, dass es auch nicht so schlimm ist, nochmal. Denn die sind ja auch nicht ganz so riesig. Das heißt, in der Regel sind Rechenzentren irgendwie eine größere Halle, eine größere Fabrikhalle, aber jetzt auch nicht gigantisch groß. Lasse: Ja und haben vor allen Dingen auch den Vorteil, anders als jetzt irgendwie Logistik oder sowas, da fahren nicht tausende LKWs ab, sondern einmal gebaut ist dann relativ wenig Publikumsverkehr. André: Genau, auf jeden Fall. Heißt allerdings auch, dass natürlich nicht so viele Jobs geschaffen werden. Das muss man auch dazu sagen. Ein Punkt, der mich immer gefragt wird, ist, wie ist das mit dem Wasser? Und das fand ich ganz spannend. Da habe ich nochmal nachgeschaut und das ist tatsächlich überraschend wenig, was das Ganze an Lasse: Okay. André: Verbrauch hat. Also, obwohl die meisten... das Rechenzentren aktuell eher mit Frischwasser gekühlt werden ist das so dass die aktuellen schätzungen eher so was ausgehen von einem kleinen Prozentsatz, also so etwas wie 0,5 bis 1 Prozent des Wasserverbrauchs könnte da drauf gehen. Wenn man sich das jetzt aktuell anguckt hat, sehr sehr großes, wo wir dann wirklich in Bereich von hunderte Megawatt reingehen, hunderte Megawatt Leistung. Rechenzentren, so welche gibt es nicht in Deutschland, so welche werden vielleicht nochmal gebaut, dass wir 200 Megawatt Leistung da drin haben, dann sind wir irgendwo in dem Bereich, dass mal 10.000 Haushalte, was die an Wasserverbrauch haben, mit den aktuellen Systemen. Wenn wir an die zukünftigen Systeme gucken, dann wird es auf jeden Fall nochmal weniger. Lasse: Inhaltet das schon den Wasserverbrauch des Stroms mit, weil natürlich auch das entsprechende Kraftwerk gekühlt werden muss? Ich glaube nicht, oder? André: Ne, das tut es nicht. Das ist ein guter Punkt. Deswegen würde ich auch immer insgesamt eher auf den Strom gucken dabei und diesen Wasserbereich vernachlässigen. Ich fand es in Amerika, ich habe einen Vergleich gehört, der Wasserverbrauch in Amerika aller Rechenzentren zusammen ist ungefähr ein Drittel dessen, was in Amerika für Golfplätzebewässerung ausgegeben wird. Da gibt es halt einfach andere Verbraucher, auch wirklich von Frischwasser. Aber natürlich hast du recht, das heißt zu schauen, wo kommt eigentlich der Strom her. Sind das jetzt irgendwelche großen alten Kohle- und Gaskraftwerke, die halt auch noch gekühlt werden müssen mit Frischwasser. Da ist der Einsatz wahrscheinlich sogar höher. Gerade wenn wir in Frankreich sind, wo dann auch, wir sind ja bei Klima, wenn dann aufgrund der hohen Temperaturen wir sehen, wie der Wasserdurchsatz bei den Kernkraftwerken steigt, das ist natürlich schon Lasse: zumal du auch dann die ökologischen Folgekosten, eine wärmere Flüsse etc. hast, die dann wieder dich auch in eine Schleife reinbringen. André: Auf jeden Fall. meinen Punkt, bevor wir jetzt noch mal in die Diskussion der Zukunft reingehen und dessen was man Lasse: Ja. André: tun kann, Nachhaltigkeit. Ich würde sagen, wir haben hier auf jeden Fall einen Einfluss, das hat mit wirklich ein paar Prozent des Gesamtumensatzes, des Gesamtstroms System wir haben als Menschheit auf jeden Fall einen relevanten Effekt. Gerade der Neubau von Kraftwerken nur zum Zweck Rechenzentren zu betreiben, da sollten wir vielleicht dann auch darüber nachdenken, dass es lieber nachhaltiger grüner Strom sein könnte. Auf der anderen Seite ist der Materialeinsatz sicherlich auch groß, etwas, wir die Grafikkarten werden relativ schnell verbraucht auch dadurch. Das heißt, die halten keine zwei, drei Jahre, wenn die zum Training benutzt werden. Insofern, da haben wir etwas über das wir nachdenken müssen. Es ist aber auch mit ein paar Prozent nicht der große Treiber, dass es jetzt nicht unser größtes Problem fliegen ist, zum Beispiel deutlich, deutlich mehr. Lasse: Ja, oder ich hab mal den der Referenzwert Bitcoin oder sowas Bitcoin Transaktionen und Schürfen sind um Welten, also mehr so um den Faktor 1000 andere Liga dahinter. Gut machen auch nicht so viele, aber ist ja auch eine andere, noch relativ neue Technologie, die dabei ist und der Artikel von früher war das Thema, dass Streaming auch extrem hohe Energieverbräuche haben. Auch das sind natürlich Themen, die liegen jetzt nicht über der KI, aber das Bitcoin-Thema halt eben schon. André: Genau, also ich würde sagen, dann können wir auch mal gucken, lohnt es sich denn trotzdem, auch wenn wir diesen... haben, KI zu nutzen. Und da ist meine Meinung relativ klar. Wir sind hier gerade noch in diesem Lernprozess. Die meisten Menschen haben noch nicht ausgiebig mit KI gearbeitet und dazu beigetragen. Das heißt, ich will jetzt nicht dafür Werbung Lasse: HÖHÖHÖHÖ André: machen, nutzt jetzt alle das größte Modell und schmeißt egal was in KI rein, sondern denkt schon darüber nach, was bedeutet das, wenn ich da so einen Aufruf mache. Vielleicht auch nicht dreimal das gleiche googeln, sondern vielleicht dann doch ab und zu mal das Köpfchen einschalten und darüber nachdenken, was ist es denn, was ich da herausgefunden habe. Das heißt auch da, wenn wir an die Folge mit dem Prompt zurückdenken, wenn ich den Prompt gut stelle, brauche ich halt auch einfach weniger Aufrufe insgesamt, weniger Token. Wenn ich das Bild gleich besser gepromtet habe, habe ich natürlich auch weniger und im Prinzip Lasse: Jep. Und... André: ist es so ähnlich wie mit Klamotten würde ich sagen. Wenn wir da Fast Fashion machen, haben wir wahrscheinlich einen größeren Fußabdruck und hier ist es auch so. Nichtsdestotrotz lernen wir hier gerade eine neue Technologie und insofern darf man beim Lernen auch ein bisschen Verschwendung zulassen und ich würde sagen, deswegen mein Appell ist eher ein bisschen darüber nachdenken. Es ist aber auch nicht das größte Problem, das wir gerade haben. Lasse: Ja und man muss glaube ich auch sagen, auch von der Nutzung, da habe ich zwar keine Studie zugefunden, aber wahrscheinlich wird zumindest mittelfristig ja die API Nutzung das sein, was wirklich das große Volumen ausmacht. Insofern muss man vielleicht auch den kommerziellen Nutzern stärker sagen, denk doch mal drüber nach, was ist das richtige Modell dafür. Ich habe es selbst bei uns gesehen, für unsere Testphase haben wir einfach das größte Modell von Mistral dran gehängt. Aber sehen jetzt, dass für unseren konkreten Anwendungsfall das mittlere Modell voraussichtlich vollkommen ausreichen wird und werden jetzt wahrscheinlich einen Test-Switch machen, dass wir immer zwei Wochen das mittlere Modell dranhängen und testen, ob unsere Ergebnisse signifikant irgendwie sich überhaupt verändern und dann haben wir dadurch allein eine Energieeinsparung und übrigens auch eine Kosteneinsparung als Unternehmen dahinter. was natürlich relevant ist. André: Ich glaube, ist ein ganz, ganz wichtiger Punkt. Also da, wo wir viel Nutzung haben, natürlich ist es aktuell so, das scheint so, dass hauptsächlich privat genutzt wird, aber sobald es in der Industrie natürlich benutzt wird, und die Industrie nutzt es jetzt auch schon, das heißt, wir fangen an 40 Prozent Durchdringung im deutschen Unternehmen heißt ja, dass es da auch wirklich genutzt wird. Und da eben bei Use Cases, einzelnen Fällen, bei einzelnen Nutzungsfällen, wo es eben viel Nutzung gibt, da sollten wir dann darauf achten, das günstigste Modellsystem zu nutzen. Und da lohnt es sich eben auch vorher Lasse: HÖHÖHÖHÖ André: den Weg dahin ein bisschen mehr zu betrachten. Das heißt da das Prompt, den Prompt so zu bauen oder die Software so drum herum zu bauen, dass wir nachher mit einem günstigeren, kleineren Modell auskommen. Ich habe jetzt auch gerade eine schöne Studie dazu, dass gerade so kleine Modelle, die dann in Open Source im Prinzip unten im Keller des Unternehmens laufen können, durchaus auch genügend leistungsfähig sind, die tagtäglichen Probleme eines Unternehmens zu lösen und damit können wir dann Größenordnungen an Energie sparen. Lasse: Ja, damit sind wir, glaube ich, auch gut mit unserer Zeit durchgekommen. Ich glaube, es war ein spannendes Thema. Wer Anregungen oder Kommentare hat, gerne wie immer dazuschreiben oder uns direkt schreiben. Und André: Auf Fall, bitte. Lasse: ansonsten danke dir, Andre, für das spannende Thema. André: Vielen Dank Lasse, dass du uns im Urlaub beglückt hast. Schönen Urlaub noch! Ciao! Lasse: Ja, Danke, ciao!