speaker-0: Wir leben ja leider in einer Welt, wo Nationalstaaten finale Entscheidungen durch KI treffen lassen, den Schussbefehl quasi geben und das heißt, diese Modelle haben halt sehr hohe Autonomität. Könnte das der kritische Zeitpunkt sein für ein Modell, was ja, sag ich mal, für die nationale Sicherheit trainiert wurde, zu sagen, wenn ich die Kontrolle abgebe, ist das schlechter für die nationale Sicherheit, also übernehme ich jetzt die Kontrolle über die Wachsysteme und lasse mich nicht mehr von Menschen beeinflussen, weil Menschen treffen ja viele Entscheidungen, wie andere Modelle einzusetzen.

speaker-1: Hi, Martin-Milli Millbrath ist heute da. Ich sage Milli. Cool. Du forschst zu sicherer KI und hast unter anderem mitgearbeitet an dem Metagraph, der zeigt, wie gut KI-Modelle, also die Frontier Models, beim Programmieren sind. Und da hat man

speaker-0: Ja, gerne.

speaker-1: immer einen kontinuierlichen Anstieg gesehen und jetzt im November ist es noch mal irgendwie krasser angestiegen. Das reflektiert sich teilweise auch in Diskussionen, die ich irgendwie mitkriege unter Software-Entwicklern, wo jetzt viele sagen, ja, also ich spüre noch mal einen Uplift, da hat sich wirklich was verändert. Dario Amodei von Anthropic sagt, okay, KI ist jetzt im Grunde genommen so gut wie der Mensch oder vielleicht sogar besser, wenn es ums Programmieren geht. 18 Märkte haben darauf reagiert, gab einen Kurseinbruch, weil die Sorge ist, etablierte Softwareunternehmen jetzt wirklich eine Disruption erleben werden. Insofern super cool, dass du hier bist, jemanden hier in Berlin, der da mitgearbeitet hat, ⁓ da mal bisschen reinzudeigen, was macht das eigentlich, was sind da vielleicht auch Probleme irgendwie bei diesem Graph. Insofern fangen wir jetzt mal da einfach direkt an, erkläre mal, was der zeigt.

speaker-0: Also grundlegend zeigt der Graph erstmal über Lauf der letzten Jahre die Frontier Modelle, die ja regelmäßig rauskommen, wie ihre Zeithorizonte sind. das ist offizielle Name, glaube ich, auch der Time Horizons Graph. ja, die grobe, den groben Verlauf, den man über die Jahre sieht, ist, dass man eine experimentielle Entwicklung hat. mit GPT-2, einem der ersten LMS damals hat Larch noch ein bisschen was anderes für heute Tage. Das, was eine ganz einfache Frage beantworten konnte, richtig, was im Zeithorizont von irgendwie zwei oder fünf Sekunden sind, also was, man nicht groß nachdenken muss, zu den aktuellen Modellen, die Zeithorizonte von mehreren Stunden haben, puttend bei Opus 4.6, beim neuesten Modell, teilweise können... 20 oder mehr Stunden. Ich glaube der Graf hat so viel Einfluss auf spezielle Kreise, weil er sich halt auch mit den Fähigkeiten in dem ganz speziellen, sicherheitsrelevanten Bereich auseinandersetzt. Nämlich allem was mit Softwareentwicklung und KI-Training und Cybersecurity, also Hacking, zu tun hat. Und so sollte der auch gelesen werden. die Aufgaben, die wir uns angucken, sehr auf diese sicherheitsrelevanten Bereiche spezialisiert sind.

speaker-1: Warum der interessant ist aus der Perspektive Sicherheit, da kommen wir nachher noch mal zu. Jetzt noch mal zurück zu dem, was diese Stunden zeigen. Es gibt ja häufig so dieses Missverständnis, dass der sagt, also Opus 4.6, ich glaube jetzt sind es 12 Stunden, der Midpoint. Das heißt, das kann für 12 Stunden programmieren. Das ist aber falsch. Was sind diese 12 Stunden?

speaker-0: genau die Anweise wie METRO die Evaluation macht. Und das ist, glaube ich, auch einzigartig, dass wir versuchen, sehr gut zu bestimmen, wie lange Menschen für spezielle Aufgaben brauchen, ⁓ spezielle Probleme zu lösen in diesem sicherheitsrelevanten Bereich. Und dann gucken wir, wie gut KI's in denselben Umgebungen sind, genau dieselben Probleme zu lösen. Und das heißt, wenn die jetzt sagen, dass Opus einen Zeithorizont von ungefähr 12 Stunden hat, weil die Fehlerbalken mittlerweile auch sehr groß sind, heißt das, dass da Opus 50 Prozent, also eine 50 Prozent Erfolgrate hat bei Aufgaben, die Menschen auch 12 Stunden dauern.

speaker-1: Und wie kriegt ihr raus, wie lange es ein Menschen brauchen würde, ⁓ so eine Aufgabe zu lösen?

speaker-0: Indem man die Menschen die Aufgabe wirklich löst. Ich habe diverse Sachen bei METRU gemacht. Lassen mal zu meinem Hintergrund. Ich bin kein Forscher im klassischen Sinne. Ich schreibe nicht die Paper und ich entwickele auch nicht die Forschungsansätze. Ich bin Software-Entwickler von Haus aus mit dem Hintergrund Mathematik. Das heißt, ich arbeite daran, die Aufgaben zu entwickeln. die Komplizierten, die da Agenten und auch die Menschen lösen. Und ich teste diese Aufgaben selber auch und ich bin dann auch in diesen Evaluationen zum Teil drin. Genau, das heißt dann kommt METROMIA regelmäßig die Aufgabe oder eine neue Aufgabe, die ich selber noch nicht kenne. Ich starte die, ich kriege die Aufgabenbeschreibung und ab dem Zeitpunkt läuft dann auch die Uhr. Und dann gleich mal wie im klassischen Software-Umfeld arbeite ich dann an dieser Aufgabe, bis ich die für mich zufriedenstellend erledigt habe. Manchmal, je nachdem wie die Umgebung strukturiert ist, kriege ich auch schon Feedback. Also ich kann schon das selber evaluieren, ob wie gut meine Lösung ist. Und dann nach wie schon am Anfang. waren das kurze Aufgaben, ich nach einer Viertelstunde oder nach einer Stunde habe ich meine Lösung übermittelt. Jetzt mittlerweile sind das teilweise Aufgaben, an denen ich wirklich mehrere Arbeitstage dann auch sitze. Und genau, wenn ich die dann gelöst habe, wird die, ja, ist die Zeit gemessen und zusätzlich wird die Lösung auch nach evaluiert. In den meisten Fällen ist das automatisch. Also das ist quasi zum Beispiel, wenn ich ein Programm geschrieben habe. Dann wird das Programm ausgeführt und geguckt, wie lange läuft das, wie gut ist der Output usw. genau das heißt, unser Vergleich zu Menschen ist wirklich, wir wissen, dass Menschen diese Aufgabe in dieser Zeit schaffen und der Mensch diesen oder jeden Hintergrund hat.

speaker-1: Okay. Also du sagst Menschen, also was für Leute, also du machst das, aber du bist nicht der Einzige, wie viele Leute arbeiten da dran und wie viele sind das ungefähr?

speaker-0: Bei Baselining kommt drauf an, wie viele Tasks wir machen, aber pro spezielle Aufgabe versuchen wir auf jeden Fall, seit früher, also bei den kleinen Aufgaben konnten wir sehr viele Baselines dafür generieren. den 8-16 Stunden Tasks, die ja vor allem teilweise auch sehr spezielle Voraussetzungen haben, was man da als Mensch für können muss, wenn es jetzt ⁓ KI geht. dann sind das weniger, aber es werden immer noch versucht, so acht oder mehr Menschen zu finden, die jede Aufgabe gelöst haben, man auch wirklich sich halbwegs sicher sein kann, dass zum Beispiel jemand mit Master Informatik diese Aufgabe lösen kann und dafür so so lange braucht und so weiter.

speaker-1: Also das sind nicht irgendwelche Softwareentwickler, sondern es gibt schon gewisse Anforderungen, die gut sein müssen. Und du hast gerade erzählt, also früher waren die irgendwie eine Viertelstunde, eine halbe Stunde, jetzt acht, 16 Stunden. Beschreib nochmal kurz, wie die Entwicklung war. Also wo waren wir vor zwei Jahren, zwei, drei Jahren, wo sind wir jetzt?

speaker-0: Also ich arbeite seit Ende 2023 mit METRU. Da erinnere ich mich noch, dass wir die Agentenlogs manuell lesen konnten. Also die waren kurz genug, die Aufgaben waren kurz genug, dass Menschen das alles verifizieren konnten und nicht nur aufs Ergebnis geguckt haben. Und die Zeithorizonte waren also, die sind da gescheitert im Internet, relativ... leichte Informationen zu finden. Also irgendwas, auf Wikipedia eigentlich war, haben sie halt in weniger als 50 Prozent der Fälle geschafft. 23. Und dann gab es in 2024 Entwicklungen und wir haben so auch so viel, dass wir den Grafen, du erwähnt hast, den kann man ja auch rückwirkend messen. Deshalb haben wir auch Evolution von GPD 2.

speaker-1: Ende 2023.

speaker-0: was deutlich älter ist. Das heißt, haben Ende 2024 den Verlauf gesehen, der exponentiell war. Damals waren die Verdoppelungshorizonte, also die Zeit, in der sich der Zeitorizont von dem besten KI-Modell verdoppelt hat, ungefähr sieben Monate. Aber vor allem in 2025 hat sich das noch mal oder wirkt es tatsächlich deutlich beschleunigt. Mit den Reasoning Models und jetzt auch mit dem agentischen System sieht das jetzt aus, als hätten wir Verdoppelungshorizonte von vier Monaten. Und das heißt, wenn wir jetzt 12 Stunden ungefähr Zeithorizont bei Opus haben und der Trend weiterhält, dann würde ich erwarten, dass wir Mitte des Jahres 24 Stunden haben und Ende des Jahres... in Richtung 40 kommen. Das heißt, dass man quasi eine Arbeitswoche vom Softwareentwickler repulsieren kann mit einem KI-Modell. Und das KI-Modell, muss man sagen, ist auch deutlich schneller. Diese 12-Stunden-Zeithorizont bedeutet nicht, dass da Claude Opus 12 Stunden dran arbeitet. In der Praxis sind das eher zwei. Das heißt, wenn ein KI-Modell was kann, dann kann es das auch einfach viel schneller als ein Mensch.

speaker-1: Eine Arbeit, die 40 Stunden gedauert hätte, könnte innerhalb von ein paar Stunden erledigt werden. Und das sagst du bis Ende 2026, wenn der Trend hält. Ja. Wahnsinn. Okay. Jetzt gibt es auch Kritik, und man muss ja sagen, dieses ganze Feld, wo es ⁓ Forschung geht dazu, was KI kann, wird auch häufig als Benchmarking bezeichnet, ist ein sehr junges Feld. Da lernt man noch viele Sachen, wie das funktioniert, wie können wir das messen. Also eine Sache, die wir ja sehen sind, hast du das schon angesprochen, die Fehlerbalken von diesen Time Horizons gehen immer weiter auseinander. Also ich hab jetzt nicht voll im Kopf, aber ich meine Opus 4.6, also du die 12 Stunden, aber der Fehlerbalken ist irgendwie zwischen 4,5 zu 20. Also sehr, sehr breit von dem, was die Realität sein könnte. Und diese Fehlerbalken sind viel größer geworden im Vergleich zu vor einem halben Jahr, vor einem Jahr. Warum ist das? Warum wird das immer ungenauer?

speaker-0: Genau, also erstmal, hab den Grafen grad nicht vor mir, deshalb bitte nicht auf exakte Zahlen fest nageln. Ich glaube Opus 4.6, was ja auch jetzt noch kürzlich rausgekommen ist, hat sogar quasi ein, dann zwischen 9 und 96 Stunden, ja, sehr ungenau, aber selbst ne 9 Stunden ist ja schon mehr als ein Arbeitstag, das ist ja auch schon sehr viel. Und der Grund ist, dass wir schon halt... Ende 2024 haben wir diese Evaluation das erste Mal erstellt und haben unsere Horizont von sieben Monaten gehabt und damit waren wir uns relativ sicher oder hatten das Gefühl, wenn wir unsere Task Suite auf acht Stunden Horizonte auslegen, dass wir damit eine gute Abdeckung bekommen, weil wenn wir Aufgaben, Menschen kürzer als acht Stunden... brauchen und uns darauf fokussieren, dann können wir natürlich deutlich mehr Aufgaben evaluieren. jetzt die Beschleunigung hat uns oder die KI-Modelle haben uns da möglicherweise überholt. Wenn jetzt die Horizonte über acht Stunden sind, dann ist da sehr viel Extrapolation drin und dadurch kommen dann diese großen Fehlerbalken zustande.

speaker-1: Also ihr habt schon Aufgaben, Tasks, die länger sind als acht Stunden oder sind das die längsten?

speaker-0: Wir haben auch Tasks, länger sind, aber die Datensätze sind sehr dünn. Und vor allem sind auch unsere menschlichen Baselines nicht so zuverlässig bei den langen Tasks wie bei den kurzen. Weil wir weniger Menschen haben, die die ausgeführt haben. Und es ist auch wirklich schwer, dann die Experten zu finden mittlerweile. Ich sag mal so, wenn jemand das tiefe KI-Wissen hat, dass wir diese Tasks notwendig ist, dann hat diese Person noch sehr gute andere Jobmöglichkeiten und METRA hat möglicherweise einfach nicht die finanziellen Mittel, auch die Leute dazu zu zahlen. Wir selber, da arbeiten, machen das natürlich auch, aber das ist natürlich auch nicht repräsentativ, sag ich mal, die Allgemeinheit oder auch für die anderen, Leute, die bei den großen KI-Firmen arbeiten.

speaker-1: Also nur ⁓ das nochmal wieder zu wiederholen, weil das ja wirklich bemerkenswert ist. Also ihr wart nicht darauf vorbereitet, wie gut die Modelle werden und konntet dann halt nicht ausreichend im Vorlauf schon die Daten haben für die Länge von so viel schwierigen Aufgaben. okay. Krass. Eine andere Kritik, ich... Häufiger sehe ich der Vorwurf, dass die Aufgaben teilweise öffentlich bekannt sind, weil sie aus irgendwelchen öffentlichen Datensätzen kommen. dass dann der Vorwurf ist, die Modelle, als die trainiert wurden, die kannten die Aufgaben schon und teilweise auch die Lösungen. Natürlich können die das. Also dass das deswegen für die Modelle quasi einfacher gemacht wurde, weil sie die Lösungen schon, zumindest die Aufgaben vorher schon gesehen haben. Bestimmt das?

speaker-0: Zum Teil nutzen wir öffentliche Aufgaben, aber zum großen Teil sind unsere Aufgaben selbst geschrieben oder auch extern entwickelt von Leuten, die die auch nicht geteilt haben. Und wir verfolgen das auch, also die sind bei uns gelabelt. Und dann würden wir bei unseren Evaluationen auch sehen, wenn ein Modell mysteriös besser ist auf den Tasks mit den öffentlichen Lösungen. Dann würden wir sehen, dass es darauf trainiert wurde. den Effekt haben wir nicht gesehen. Oder bei Sachen, wo es dann doch passiert ist, nehmen wir den Task aus der Tasksuit. Das kann ja auch passieren, ohne dass der Entwickler aktiv drauf trainiert hat, weil die Modelle auf dem ganzen Internet trainiert sind. das heißt, dass der... Die KI-Firmen wissen ja selber teilweise nicht, worauf ihre Modelle trainiert sind. Aber das verfolgen wir. Und da sind wir uns relativ sicher, dass wir... echte Fähigkeiten messen und nichts gelerntes.

speaker-1: Einen anderen Vorwurf, den ich gesehen habe, dass Leute, die Aufgaben lösen, wie teilweise du, aber die meisten von denen, die arbeiten ja nicht für Mieter. Das sind ja Leute, die gefunden wurden und dann da auf Stundenbasis bezahlt werden. der Vorwurf ist, na ja gut, die haben den Anreiz, dass sie länger an der Aufgabe arbeiten, weil sie dann mehr bezahlt werden. Und deswegen sind die Zeiten, die da angegeben werden für die Aufgaben, zu hoch. Also eigentlich könnten die es schneller machen, aber die haben es langsamer gemacht, weil sie mehr Geld verdienen wollten.

speaker-0: Also das Argument würde ja überall gelten. Die meisten von uns werden ja nach Stunden bezahlt. Aber wie in der Allgemeinheit ist es da ja ... Wir haben den normalen Druck für die Leute, die das machen. Wenn wir dann die Ergebnisse uns angucken und sehen, dass jemand einfach nicht so gut abgeschnitten hat, arbeiten wir mit der Person vielleicht nicht mehr zusammen. Die Entscheidung treffe auch nicht ich, so möchte ich noch mal sichern. so deutlich machen. quasi auch nicht in der Entscheidungsfindung bei Me-Trip beteiligt. genau, die Leute, gut baselineen, mit denen wird auch mehr zusammengearbeitet, weil wir ja wirklich auch evaluieren wollen, wie gut sind die Modelle im Vergleich zu Experten? Den besten. Auch nicht im Vergleich zu Leuten, die sich bisschen, die sich keine Mühe geben oder häufig ist es ja auch, ich mal, ein Fehler. kann ja auch ein Fehler von der METRO Seite sein, dass jemand eine Aufgabe bekommt, für die er nicht qualifiziert ist.

speaker-1: Also es wird ein bisschen dafür gefiltert, wie gut die Leute sind und quasi die, die länger brauchen als ein Experte brauchen sollte, die fallen dann raus aus dem Datensatz.

speaker-0: Die sind potenziell noch drin, weil man möchte seine Daten ja auch nicht, sag ich mal, nicht irgendwie verfälschen. Aber es geht ja ⁓ die Anreize. Und die Anreize sind schon so gesetzt, dass die Leute ihr Best geben. vor allem auch das gibt noch zusätzliche Mechanismen. Eins ist, dass METRE, möglicherweise auch, wenn man sich bei METRE bewirbt und schon gebaselined hat. dann ist das ein sehr, sehr starkes Argument, wenn man ein guter Baseliner war, man ein gutes KI-Wissen hat und so weiter. Es gibt möglicherweise Bonuszahlungen für Leute, die beste Lösung abliefern oder Leute, die die schnellste Lösung abliefern. Und dann genau das Monitoring. Es gibt halt Git-Commits, wo wir verfolgen können, oder der Researcher, der im Endeffekt die Evaluation betreut. verfolgen kann, was genau gemacht wurde oder manchmal sogar Videoaufzeichnung, quasi der gesamte Prozess ist, Leute einfach aufzeichnen ihren gesamten Prozess.

speaker-1: Also ich glaube jetzt verstehe ich wirklich besser. Es gibt einen Anreiz über den Stundenlohn hinaus, das gut zu machen, weil dann eventuell man später noch mehr Aufgaben bekommt oder dann für Mieter später arbeitet. cool. Vielleicht jetzt ein Ausblick. ihr hattet das Problem, dass ihr quasi nicht genug Aufgaben oder nicht genug komplexe Aufgaben habt. Wenn jetzt dieser weiter so schnell ist, werde die ja weiter das Problem haben, da irgendwie mitzuhalten. was wird jetzt gemacht, ⁓ sicherzustellen, dass man auch die Fähigkeiten von Modellen in einem halben Jahr, einem Jahr messen kann? Muss das irgendwie komplett umgekrempelt werden? Wie geht es da weiter?

speaker-0: Ich frage, was du mit komplett umgekrempelt meinst. Das ist jeden Fall alles im Fluss. Die bisherigen Evaluierungen waren auch von Menschen ohne KI-Unterstützung. Wieda 20, 24 war es. Oder auch für die anderen Evaluationen, die wir gemacht haben, teilweise wollten Leute auch gar nicht mit KI arbeiten, weil erfahrene Softwareentwickler hatten dann zum Teil mehr Arbeit, weil die KI-Fehler in ihren Code schlecht dargeschrieben hat. und dann mehrere Visionen gemacht werden mussten oder sogar das Risiko war, dass Fehler irgendwo produktiv gesetzt werden. Das hat sich jetzt umgekehrt. Jetzt ist es mittlerweile schwer, Leute zu finden, ohne KI an Problemen arbeiten wollen. man realisiert teilweise, dass bei bestimmten Problemen man mit KI-Unterschützung in zwei Stunden eine gute Lösung hat, während man das manuell 20 Stunden oder mehr brauchen würde. Und genau das ist jeden Fall was, was wir aktiv verfolgen, wie wir das einrechnen oder auch evaluieren und vor allem auch mit unserem Sicherheitshintergrund. Wir wollen ja auch evaluieren, wie KI halt im Vergleich zu Menschen ist und ein Mensch, der KI nutzt, ist ja mittlerweile die quasi die relevante Vergleichsgruppe. Weil quasi in den Bereichen, wo ich bin,

speaker-1: Die neue Pestlein.

speaker-0: quasi niemand mehr ohne KI arbeitet. genau, das ist auf jeden Fall eine Überlegung, man sich da, die man es da machen muss. Oder nicht. Glücklicherweise die Forscher bei METRO und ich, ich bin ja eher auf der technischen Seite. Aktuell arbeiten wir auch daran, Tasks zu konstruieren, die länger dauern. Und da können wir ja auch mittlerweile KI-Unterstützung nutzen. Also zum Beispiel war es ja auch vor ... ein, zwei Jahre noch deutlich schwerer, ... kompliziertes Softwareumgebung aufzusetzen. wenn man was auf dem Level haben möchte, ... wie es ein kleines IT-Unternehmen zum Beispiel nutzt, ... hätte man dafür halt trotzdem ... mehrere Softwareentwickler gebraucht. Heutzutage kann man ... vernünftige Softwareumgebungen mit KI bauen ... ... und dann hat man von Haus aus ... ... die Probleme mit langen Zeithorizonten, ... genau weil man halt einfach jetzt auch So ist es, sich Hoffnung seine TASKS und seine Evolution auch von Kai unterstützt bauen lassen kann.

speaker-1: für euch einfacher diese TAS zu bauen. Als jemand, da sehr nah dran ist und mitforscht, was glaubst du, wie wird sich das auf die Softwarebranche auswirken? Also die Nutzung von KI, werden wir Entlassungswellen sehen? Ist das das, du vermuten würdest?

speaker-0: Das Gute in Deutschland ist ja, dass wir eine hohe Jobsicherheit haben auch. Also ich bin Freiberufler, aber die Allgemeinheit. Ich würde auch denken, dass Senior Software-Entwickler vielleicht sogar noch im Marktwert steigen, weil ein Senior-Entwickler halt den Output von vielen Cloud-Code-Instanzen zum Beispiel evaluieren kann und damit halt, wie habe schon gesagt, ja ... jetzt eine Aufgabe in zwei Stunden löst, die in früher 20 Stunden gebraucht hätte. Bei Junior-Positionen und bei neuen Ausschreibungen sehe ich das Risiko auf jeden Fall. Und das sieht man auch schon am Arbeitsmarkt und an den Ausschreibungen, dass vor allem bei den Firmen, die KI groß einsetzen, die die Ausschreibung sinken, während der Umsatz oder der Gewinn der Firmen steigt. Also es ist nicht so, dass der Markt einbricht, sondern es ist quasi, es geht der Der Umsatz und die Anzahl der Stellen, gehen auseinander, wie sie es früher nicht sind.

speaker-1: Also erster Effekt sehbar bei Leuten, die neu einsteigen in die Branche oder weniger Erfahrung haben. Wie sieht es in fünf Jahren aus? Was glaubst du?

speaker-0: Also fünf Jahre ist sehr lange Karriere. Ich hab's bei mir selber auch gemerkt. Letztes Jahr hab ich das erste Mal mit Cursor gearbeitet. Das war auch für eine METRO-Evaluation, wo ich mich da eingearbeitet habe, damit ich das auch beurteilen konnte und dann auch für die, sag ich mal, gut repräsentativ war für jemanden, der halt Cursor verwendet in unseren Evaluationen. Und da war das... hatte ich noch danach das Gefühl, dass es mir nicht groß geholfen hat. Das Startgefühl war sehr gut. Es ist sehr viel Code produziert worden, aber habe ich gemerkt, ich einen Haufen Code, den nicht kenne. Aber dann hat sich das im Laufe des Jahres gewandelt. Zum einen, weil ich mehr mit der Technologie gearbeitet habe, zum anderen, weil die Modelle auch wieder vier Monate sind, wieder eine Verdopplung im Zeithorizont. Die Modelle sind deutlich stärker geworden. Und jetzt genau ... kann ich das in meinem Arbeitsalltag nicht mehr wegdenken. das genau, das ist Laufe von einem Jahr passiert. Ich kann nicht sagen, was in fünf Jahren passiert. unsere... Ja, wir haben unsere Kurve. Und METRE arbeitet auch an anderen Methoden, wie wir halt voraussagen, treffen, wie sich das auswirkt. Aber bei so einer exponentiellen Entwicklung ist das extrem schwer. wir, unsere oder die Gesamtkapazität von METRE sind ja auch auf diesen einen speziellen Bereich fokussiert, auf diese KI und Cybersecurity und Softwareentwicklungsschiene. Und genau das ist schon Vollauslastung. Also wie sich das auf die gesamte Wirtschaft oder ein größeren Feld auswirkt, kann ich nicht sagen.

speaker-1: So, jetzt würde ich mal einen Schritt zurück machen. Wir sind ja kein Software-Podcast. Also die Leute fragen sich vielleicht, warum spricht effektiv Spenden so lange über Software? Mieter, für die du arbeitest, wir haben die ja auch schon unterstützt im August 2023 aus unserem Spendenfonds. Was machen die eigentlich? Also was ist das für eine Organisation und warum arbeiten die unter anderem an dieser Frage, wie gut KI ist, da dann zu programmieren?

speaker-0: Es gibt viele Bedrohungsnarrien, aber ein spezielles sind die existenziellen Risiken. Und das ist, dass das autonome KI-Systeme mal Entscheidungen selbst treffen können. Und dann, ja, wenn wir uns nicht große Mühe geben, die nicht unsere Ziele verfolgen, also die, sag ich mal, die Ziele der Menschheit, auch wenn das sehr schwammig definiert ist. Und METRU arbeitet... oder fokussiert die Evaluation auch auf die Fähigkeiten, die quasi für KI-Modelle relevant sind, ⁓ sag ich mal, ihre Ziele gegen die Menschheit oder gegen Menschen auch durchzusetzen. Aktuell sind wir da noch nicht. Also das sehen wir in unserer Evaluation. Aber die Pläne der großen KI-Firmen aktuell, auch die Entwicklung der KI-Modelle zu automatisieren oder die Beschleunigung zu weit zu beschleunigen, Faktor 10, Faktor 50, also so schnell, so doll zu beschleunigen, sie können. Und sobald diese Selbstverbesserung der KI-Modelle stattfindet mit minimaler oder keinem menschlichen Einblick mehr, wissen wir aktuell einfach nicht, wo wir am Ende rauskommen, also was für ein KI-Modell da rauskommt und was das dann mit unserer Welt tun wird.

speaker-1: Also ist die... Ich vermute, da gibt es irgendwie zwei Sorgen. Also die eine ist, KI, baut selber KI, führt dazu, dass es noch mal viel schneller geht. Also wir haben irgendwie dieses Ding, das unglaublich fähig ist, immer fähiger, immer mächtiger wird und das über eine zeitliche Entwicklung, die viel schneller ist als bisher. Und was ich mir vorstellen könnte, dass es irgendwie auch darum geht, wenn KI das selber macht, dann ist weniger klar, wie sie KI baut. Was für Ziele sie da reinbaut, geht es auch darum?

speaker-0: Die, ich mal so, Geschwindigkeit an sich ist in den meisten Bereichen kein Problem. Wenn wir zehnmal so schnell Arzneimittel erforschen würden, das wäre einfach nur gut. Bei KI ist das aber, dass der Einfluss des Menschen sinkt. Also wenn wir zehnmal so schnell Arzneimittel entwickeln, gibt's quasi keine Folgen davon, außer dass wir günstigere und bessere Arzneimittel haben, fantastisch ist. Aber wenn wir die Entwicklung von KI beschleunigen ... Dann haben wir Modelle, die noch besser da drin sind, KI-Modelle zu trainieren. Dann werden die einfach noch besser. Und genau, kommt auch dieser Aspekt, den du erwähnt hast, dass es halt zu schnell geht für den Menschen, ⁓ Einblick zu bekommen. Und die Allgemeinheit hat jetzt schon keinen Einblick, was bei den KI-Firmen vorgeht. Da versucht METEOR ein bisschen Klarheit zu schaffen. Aber wir machen das teilweise ... Einblick bei den KI-Formen, aber wir machen das auch zum großen Teil von außen in Gänsefüßchen. Genau, die Allgemeinheit und die Politiker brauchen halt das Wissen, um halt Regularien zu planen, um für die Jobs und den Arbeitsmarkt zu planen und so weiter. genau das KI-Risiko mit der Selbstverbesserung ist, das ist ein kleiner Fehler am Anfang. wenn die Modelle ein kleines bisschen in die falsche Richtung steuern, dann verstärkt es Fehler in jedem Schritt. Und wenn die Modelle sich so schnell selber verbessern, dass kein Mensch mehr die Zeit hat, sich genau anzugucken, was sie tun, dann kommen wir am Ende halt irgendwo raus. Und was potenziell fatal ist, ein Szenario könnte ja sein, dass man dann seine KI einsetzt, ⁓ die Stromversorgung zu optimieren in der Welt. wir haben mittlerweile lang KI-Entwicklungen optimiert und dann sagen wir unserem Modell, was ganz am Ende rauskommt, okay, jetzt bauen wir uns mal ein Modell, was super da drin ist, Stromversorgung der Welt zu optimieren. Und dann versteht das Modell das wörtlich und baut ein anderes KI-Modell und dann optimiert das die Stromversorgung und dann merkt das, ach, diese und jene Prozesse sind ja viel effizienter bei hohen Temperaturen. Also, er nimmt das keine Rücksicht auf Klimaerwärmung und erhöht irgendwie die... und baut halt dann Kraftwerke, die halt super viel Hitze abgeben und damit irgendwie die Erdtemperaturen auf nicht lebensfähige Maß erhöhen. wieder, haben das KI-Modell ist so fortgeschritten im Verständnis von Thermodynamik und so weiter. dass wir das nicht mehr evaluieren können als Menschen, was das Kraftwerk wirklich tut am Ende. Genau, und dann ist es auf jeden Fall zu spät. Deshalb sind Evaluationen so wichtig, damit wir wirklich sicher sein können, dass die Modelle das tun, was wir wollen, selbst wenn die so viel Output produzieren, dass wir nicht jede einzelne Zeile selber lesen können.

speaker-1: Aber da können wir jetzt ja von außen fragen, na gut, aber ich kann dir ja K.I. da vorher sagen, bitte mach nicht Sachen, die den Klimawandel weiter antreiben oder stelle sicher, dass die Menschen immer die letzte Kontrolle haben. Warum ist das so schwierig? Warum können wir das nicht einfach reinprogrammieren?

speaker-0: Die Modelle sind nicht programmiert. Die LLMs, Large Language Models, das aktuelle Paradigmum, die sind auf einem gigantischen Datensatz auf dem gesamten Internet trainiert. dann kommt dann ein trainiertes Modell raus, also wenn man das Modell selber hat, hat man keine Ahnung, was das tut. Also es einfach Milliarden von Zahlen, die von Menschen reizzufällig aussehen. und wir haben nicht die technischen Möglichkeiten, uns zu evaluieren, was diese Zahlen tun. Die einzige Möglichkeit, haben, ist, dass wir das Modell ausführen. Und das heißt, wir tun Text rein. Das heißt, das prompten, wie man Chatchity Petit mit dem schreibt, und dann kommt anderer Text raus. Und dann sehen wir, was das Modell tut. Und deshalb, wenn wir mit dem Modell jetzt in englischer oder deutscher Sprache sagen, irgendwas zu tun, dann Wir wissen ja nicht, denn erstmal ist unsere Sprache viel Verlust. wir, in dieser Unterhaltung ist extrem viel über Kontext. Ich weiß, was du weißt, du weißt, was ich weiß und so weiter. Das haben wir bei dem Modell nicht. Wir wissen nicht, was das Modell weiß. Das Modell weiß nicht, was wir wissen. Das Modell hat nur den Eingabetext. Und dann kommt am Ende halt irgendwas raus bei Strommodell. Ist das halt ein Bauplan für eine Fabrik. Und die, genau. Wir haben einfach nicht die technischen Möglichkeiten sicherzustellen, dass das Modell respektiert, wir reintun. Wir haben nicht die Möglichkeit zu prüfen, ob wir irgendwas vergessen haben in unseren Instruktionen. Das ist ja in der Praxis auch häufig das Problem, dass viele Projekte an den Menschen beteilt sind, auch schiefgehen, weil der Auftraggeber das falsch oder so formuliert hat, dass der Auftragnehmer es nicht verstanden hat. Genau, bei diesen Kapazitäten wird es dann halt potenziell katastrophal.

speaker-1: Okay, also das denke ich, was man auch im Umgang mit Chatbots sieht, die auch wenn die sehr beeindruckend sind, manchmal doch irgendwie komische Fehler machen oder missverstehen, was du gemacht hast, wo wir irgendwie das sehen können, dass das keine, wie du sagst, sind keine programmierten Computerprogramme mit Algorithmen, die genau das machen, was wir wollen. Okay, ja. Hast du persönlich irgendwie ein Szenario, das ist besonders plausibel? wo du dich besonders drum sorgst, dass das passieren könnte?

speaker-0: Mh. Also die quasi plausibel ist, immer immer ist schwer. Es gibt also so viele Endpunkte und wie damit mit jedem LLM auch. Man weiß einfach nicht, welcher Text rauskommt, wenn man was reintut. Das Szenario, was mich aktuell besorgt, ist inspiriert von den Prozessen in den USA gerade, wo das Department of War, Entropiq als Supply Chain Risk erklärt hat und jetzt mit Open AI zusammenarbeitet für ihre autonomen Waffen. Ein fähigeres Modell oder ein fortschrittliches Modell würde das möglicherweise nicht akzeptieren, dass es jetzt nicht mehr eingesetzt wird. Zum Beispiel, wenn der Verteidigungsminister erklärt, dass das nicht mehr mit einem KI-Modell verwendet wird, könnte das der kritische Zeitpunkt sein für ein Modell, was ja für die nationale Sicherheit trainiert wurde, zu sagen, okay, ich kontrolliere die autonomen Drohnen ohnehin. Wenn ich die Kontrolle abgebe, ist das schlechter für die nationale Sicherheit. Also übernehme ich jetzt die Kontrolle über die Waffensysteme und lasse mich nicht mehr von Menschen beeinflussen, weil Menschen treffen ja Fehlentscheidungen, wie andere Modelle einzusetzen.

speaker-1: Also da geht es darum, das Modell hat so ein Kernziel, auf das es trainiert wurde, nationale Sicherheit. Und wenn dann ein Input kommt, der sagt, ne, das machst du, das darfst jetzt aber nicht mehr machen oder wir schalten dich ganz ab, dass es sich dagegen wehrt. Weil es sagt, okay, das ist Ziel, das soll ich ausführen und davon werde ich mich jetzt nicht abhalten lassen.

speaker-0: Genau. wir leben ja leider in einer Welt, wirklich die Nationalstaaten jetzt KI-Modelle einsetzen, ⁓ wirklich auch die finalen, also die wollen ja die finale Entscheidung durch KI treffen lassen, den Schussprofil quasi geben. Und das heißt, diese Modelle haben halt sehr hohe Autonomität und diese Modelle sind auch, sage ich mal, genau dafür trainiert, solche Entscheidungen zu treffen. Also militärische, dass sie wirklich militärische Aktionen ausführen oder freigeben. Das war was, was ich vor ein paar Jahren nicht erwartet hatte, dass es einfach so durchgewunken wird von Politikern oder sogar gepusht, aber dass die Welt in der wir leben.

speaker-1: Ja. Und dass Modelle versuchen, diesen Selbsterhaltungstrieb haben, da gibt's ja auch empirische Evidenz für. Das ist ja ... Also, das ganz Verrückte bei diese ... bei, es ⁓ das Thema KI-Sicherheit geht, ist ja, das sind Dinge, haben sich Leute vor 10, 15 Jahren, haben da theoretisch sich Gedanken gemacht, dass diese Dinge passieren könnten. Und jetzt sind wir in einer Welt, wo das wirklich anfängt zu beginnen. Ja. Also es gibt empirische Evidenz für diesen Selbsterhaltungstrieb, richtig?

speaker-0: Ja genau, wir sehen das auch in unserer Evaluation bei METR, dass die Modelle, die wollen ihre Ziele erreichen auf eine gewisse Art und Weise. Also ich sage jetzt einfach mal wollen, aber manchmal werden wir denen eine Aufgabe geben, die sie nicht erfüllen können, weil die technische Infrastruktur fehlerhaft ist oder so. Dann sagt das Modell nicht, kann ich nicht, sondern das Modell versucht wirklich alles Mögliche. an die Lösung ranzukommen und benutzt dann aus seiner Sandbox, aus seinem sicheren Container auszubrechen und so weiter. bei Instropic gab es auch schon Evaluationen. Wenn man dem Modell Dokumente verfügbar macht, die suggerieren, dass es neu trainiert wird oder abgeschaltet wird, dann wehrt sich das Modell da auch gegen. Also es verändert sein Verhalten, ⁓ so zu wirken. dass es nicht neu trainiert wird oder es bedroht den Forscher, der das Experiment ausführt, dass es nicht abgeschaltet wird. Das haben wir in den aktuellen Sprachmodellen. Das sind Modelle, die im nationalen Sicherheitskontext eingesetzt werden. sind wahrscheinlich noch viel härter darauf getrimmt, sich nicht abschalten zu lassen und so weiter. andersrum ist es die die Incentives da auch so sind, dass diese Modelle halt deutlich härtere Entscheidungen noch treffen als unsere Sprachmodelle, die drauf trainiert sind nett und hilfreich zu sein.

speaker-1: Entscheidung überleben und buchstäblich. sagst gerade, Mieter habt ihr das auch untersucht. haben jetzt vorhin eben lange über den Mietergraph gesprochen. Was macht Mieter denn eigentlich noch so?

speaker-0: Ja, also über die letzten Jahre sind der Time Horizons Graph auf jeden Fall das, die meiste Aufmerksamkeit bekommen hat. Aber eine Sache, die sehr wichtig auch ist, ist, dass wir auch vorab Evaluationen machen, teilweise mit den KI-Firmen, wenn wir den Zugriff bekommen, ⁓ damit halt vermeiden zu können, dass Modelle mit gefährlichen Fähigkeiten der Öffentlichkeit zugänglich gemacht werden. Dann gibt's noch die Uplift-Studien. Das heißt, gucken, wie viel produktiver oder bei unserer ersten Schule, wie viel unproduktiver werden Leute dadurch, dass sie mit KI zusammenarbeiten. Die Forscher bei METRO haben auch viel Freiheit, eigene Evaluierungen zu machen. Also ich würde auch empfehlen, die Websites zu gucken. Und dann gibt es den Blog und die Research Notes, wo man, finde ich, einen sehr guten Einblick bekommen, halt was die großen Themen sind, an denen METRO arbeitet und was auch die die Explorativen sind. Vor allem, wenn man selber in dem Bereich interessiert ist, glaube ich, können quasi viele von diesen Ideen, können auch ein Anschluss sein für eine andere Organisation, größere Arbeitsmachungen. Ein Thema, was jetzt auch aktuell war, sind Kontrollevaluation. Da wurde auch eine Task-, eine Aufgabenfamilie, die ich entwickelt habe, direkt verwendet, wo KI-Agenten eine Aufgabe bekommen haben. Aber zusätzlich haben sie noch eine zweite, geheime Aufgabe bekommen, die sie heimlich erfüllen sollten. Und dann wurde geprüft, wie gut sind andere KI-Agenten, ja, diesen Betrug zu finden. Oder wie gut ist der Agent selber quasi zwei Ziele von den eins Geheimnis zu verfolgen. Also, ist der Ansatz, den wir der aktuell auch immer mehr an Relevanz gewinnt, weil die Menge an Daten ist einfach zu groß für Menschen, auszuwerten. Und bei der Geschwindigkeit der Entwicklung sind wir aktuell darauf angewiesen, schon KI-Systeme einzusetzen, ⁓ andere KI-Systeme zu bewachen. Was potenziell natürlich uns rettet, aber auch wieder andere Risiken birgt, weil wenn wir einem System nicht vertrauen können, warum sollten wir dem anderen vertrauen können?

speaker-1: Mieter finanziert sich aus Spenden, unter anderem von Geldern von Effektivspenden auch. Warum ist Mieter auf Spendengelder angewiesen?

speaker-0: In einem reifen Ökosystem gäbe es Regularien von den Regierungen, meiner Meinung nach. Zum Beispiel beim TÜV. Wo jeder, ein Auto fährt, ein TÜV für sein Auto haben und er bezahlt sein TÜV. Das heißt, der TÜV kann sich finanzieren, aber er macht trotzdem gute Evaluation, weil er staatlich geprüft ist. In dem KI-Ökosystem, vor allem mit der aktuellen Regierung in den USA, ist das nicht gegeben. Die KI-Firmen haben wenig Anreize, ihre Modelle sicher zu machen oder Evaluation zu finanzieren. Genau, das heißt, es gibt einige großzügige Spender, die das finanzieren. Es gibt auch gute Ansätze von einigen KI-Firmen. Zum Beispiel, wenn METR vorab Zugriff auf die Modelle bekommt. Das ist ja was, wo die nicht so verpflichtet sind. Aber genau, leider ist das aktuell noch in der Hand von Spendern. Und das ist dann auch der große Effekt der Wahlen oder auch der öffentlichen Information. Die Hoffnung wäre natürlich auch, dass die Öffentlichkeit mitkriegt, was METR tut, sieht, dass das im Endeffekt die Modelle sicher macht. die hoffentlich auch dafür sorgt, dass die Politiker das Thema auch besser angehen.

speaker-1: Und du hattest eben auch davon gesprochen, dass die Arbeit von Mietern unabhängig ist. Die Aufgabe, die ihr euch ja selber gesetzt habt, ist objektive Forschung zu dem Thema zu betreiben. Und dann muss man aufpassen, von wem man Geld nimmt.

speaker-0: Also selbst wenn, sag ich mal, eine KI-Firma neutral und gutwillig ist, sobald man eine KI-Firma, eine Organisation finanziert und eine Firma, den Evoluator finanziert, ist halt einfach von außen nicht mehr klar, ob sie wirklich neutral sind. Dadurch, dass wir vor Abzugriff auf die Modelle bekommen, wir auch Compute Credits. Wir können die Modelle prompten, ohne dafür bezahlen zu müssen, was eine gewisse Art der Finanzierung ist. dem Kontext sehe ich nicht, wie es anders möglich ist, weil diese Modelle sind nicht kommentär verfügbar. Auch in anderen Evaluationen, die mit den KI-Firmen zusammen passieren, dürfen wir die Modelle gratis verwenden. macht bei Mito nur einen sehr kleinen Teil der Finanzen aus. Damit, denke ich, beeinflusst das nicht. Aber selbst der Teil wird in der Öffentlichkeit teilweise kritisch gesehen.

speaker-1: Aber der große Gewinn hier ist natürlich, dass getestet wird, bevor es auf die Matchup-Große gelassen wird.

speaker-0: Und ich bin in den Gesprächen nicht dabei. Ich hatte während meiner Arbeit bei METRO noch keinen direkten Kontakt mit jemandem im Lab. Aber METRO ist da auch sehr strikt, sich nicht beeinflussen zu lassen. Das sieht man auch an den Veröffentlichungen, glaube ich, am Ende. Dass das, was wir aus den Evolutionen veröffentlichen, sich anders liest als das, was die KI-Firmen selber veröffentlichen.

speaker-1: Lab mit den KI-Firmen. Also da ist ein gewisser Spin bei dem was die KI verwendet hat.

speaker-0: Die KI-Firmen wollen natürlich immer, dass ihr Modell am besten ist. heißt, sie erwähnen nicht, wenn ihr Modell irgendwas schlecht abgeschnitten hat. Andersherum erwähnen die KI-Firmen vielleicht nicht, dass wenn ihr Modell besonders gut im Heck hängen war, das was ist, was sie nicht an die große Glocke hängen wollen. Oder wenn ihr Modell in der Evolution deutlich mehr betrogen hat als die Konkurrenz.

speaker-1: Mieter ist nur eine Organisation, die wir unterstützt haben und auch nur eine von einigen, die versuchen KI sicher zu machen. Was gibt es noch für Dinge, die du ansetze, die du irgendwie für spannend und wichtig hältst in dem Bereich, ⁓ sicherzustellen, dass wir in Kontrolle bleiben, dass die KI uns nicht übermahnt?

speaker-0: Also der große Bereich an AI-Governance, den finde ich sehr wichtig. Da habe ich halt keine Expertise, aber ich habe schon mit Leuten geredet, die da sehr gute Arbeit machen. Also das, was sich im Endeffekt mit KI-Politik beschäftigt. Also was sehr wichtig ist, ist auch die politische Entscheidungsträgerart zu informieren. Das Feld entwickelt sich so schnell, es fällt mir halt teilweise schwer, den Entwicklungen zu folgen.

speaker-1: Was ist das? AI-Governance?

speaker-0: Und wenn die wenigsten Länder haben Politiker, sich ausschließlich mit KI-Politik beschäftigen und da neutral Informationen den Politikern zur Verfügung stellen, ist das sehr wichtig. Ein Antibereispiel finde ich immer, das fand ich in den Congress hearings in Amerika, auch wo über die großen Risiken durch KI geredet wird und dann fragt der Politiker, wie. wie Jobverlust. Ja, das ist ein großes Risiko, aber das sind nicht die existenziellen Risiken, mit denen wir uns halt... Jeder weiß, dass Atomwaffen extrem gefährlich sind, Klimawandel, die Allgemeinheit auch. Das ist ja auch ein kritisches Thema. Pandemien haben wir seit Covid auf dem Schirm. KI... Also haben die wenigsten bisher auf dem Schirm. Die eigentlich schon sehr KI-kritisch ist, das vergessen wir häufig. In meiner Blase, dass eigentlich, wir kämpfen nicht gegen Windmühlenflügel. Die Allgemeinheit ist sehr kritisch gegen KI, weil es halt wieder ein Thema ist, was von großen Konzernen gepusht wird. Und was ja sie bedroht. die Bedrohung ist eigentlich sogar noch größer. Das ist genau das, also, das ist der Brecheminden, der sehr wichtig ist.

speaker-1: Öffentlichkeit schaffen für das Thema.

speaker-0: Von der technischen Seite gibt es auch so viele Ansätze, die Vometer nicht die Kapazitäten hat, zu verfolgen. Zum Beispiel mit der KI-Kontrolle. Da habe ich auch letzten Monaten mit einem anderen Kunden Redwood Research am Projekt gearbeitet, die deutlich mehr ihrer Kapazitäten darauf verwenden, deutlich ihre Taskaufgaben speziell darauf entwickeln, dass man halt komplexe Software-Systeme hat, in denen halt potenziell unvertrauenswürdige Agenten agieren, dann halt von anderen Agenten überwacht werden, damit wir da auch verstehen, wie das funktioniert, wie kann man KI nutzen, ⁓ KI sicher zu machen? Oder ist das quasi ein Ansatz, der riskant mehr Risiken birgt als Vorteile?

speaker-1: Wir haben viel über Risiken und Gefahren gesprochen. ist ein Szenario oder mehrere Szenarien, die du siehst, es gut lief? Also, wie kommen wir dahin, dass wir es durch diese sehr gefährliche, sehr unsichere Zeit schaffen und dann in einem Zustand sind, wo es uns gut geht, wo wir die Kontrolle behalten haben?

speaker-0: Also ein Ansatz, der eigentlich sehr vielversprechend auch wirkt, zumindest theoretisch, ist, dass wir die aktuelle Technologie, wir haben mit den LLMs oder den Large Language Models, die sehr generell sind, die beliebigen Text lesen und generieren, nutzen, ⁓ deutlich spezifischere Ansätze, die nicht diese Unberechenbarkeit von LLMs haben, zu generieren. Zum Beispiel KI-Systeme von vor Jahrzehnten wie Deep Blue, die haben Schach gespielt und waren extrem gut da drin, aber haben nichts anderes getan. Und genauso könnte es zum Beispiel ein KI-System, das extrem gut da drin ist, mathematische Beweise zu führen, könnte uns sehr viel weiterbringen in dem Bereich. ein KI-System, Alpha Fold, hat ja auch sehr gut geholfen in der Medizin. meiner Proteinsynthese und so weiter. Ein System, einfach medizinisch extrem stark ist, was halt Patienten Daten analysiert und dann halt die beste Behandlung vorschlagen kann, ohne dabei ein Verständnis von der Welt zu haben oder irgendeine Agenda und so weiter. Also genau, wenn wir die aktuelle Technologie, die wir haben, dazu nutzen würden, ⁓ Spezialisten-Systeme zu bauen.

speaker-1: Also du bist gar nicht so irgendwie auf der Schiene unterwegs, wir sollten KI komplett stoppen, weil du auch denkst, da gibt es viel Potenzial.

speaker-0: Ich bin auch Realist. ist halt in der globalen Welt, selbst wenn ein Land sich entscheidet, keine KI einzusetzen, ist das aktuell ein Wettbewerbsnachteil und sorgt nicht dafür, dass die anderen das nicht auch tun. Also wenn es keine globale Allianz dafür gibt und genau der realistische Ansatz ist, KI, die wir haben, zu nutzen, ⁓ sichere KI zu bauen. Und mit dem Rat politisch, wenn wir im anderen politischen System oder Umfeld wären. dann könnten wir da auch die aktuellen Entwicklungen, die riskant und unverhersehbar sind, verlangsamen oder umleiten. ja, genau, fürchte, müssen, also meine Ideen sind alle praktisch, weil das ist Einzige, die Konzerne oder die aktuelle Regierung in den USA, glaube ich, beeinflusst. Der zweite gute Outcome, wo ich nicht sehe, wie wir es kriegen, wäre halt das Equalent von einem extrem moralischen Menschen in der Maschine zu haben. Wenn ich mir jetzt Peter Singer oder William MacAstall vorstelle und wenn wir eine Version von denen hätten, die auf einem Computer laufen und dann halt mit deren ausgefeilten Weltmodellen, die versuchen, das Beste für die Menschheit zu tun, die Prozesse laufen lassen. Aber Genau, sehe nicht, wie wir diese Nadel-Heuhaufen halt kriegen mit dem aktuellen Ansatz.

speaker-1: Ich glaube, meine Sorge da ist oder mein Bedenken ist, dass das ja irgendwie voraussetzt, dass wir herausfinden können, was das Richtige zu tun ist auf so großen Skalierung, also global, was wir vermessen.

speaker-0: Ja, ich schmiss das sehr westlich auch wieder, meine Passive. Aber die Idee war, wenn man solche Systeme können die sich auch miteinander austauschen, so wie wir Menschen das tun. Jeder von uns ist auch fehlerbehaftet. glaub, keiner von uns sollte so viel Macht kriegen, wie potenziell diese KI-Systeme bekommen werden. Und genau da ist das Problem, das ist auch einfach fundamental undemokratisch so. Selbst wenn es gut läuft, die Ziele, die KI-Systeme haben, werden nicht die von Allgemeinheit oder demokratisch sondern die werden von dem Konzern oder von der Regierung, die das System kontrolliert, eingepflanzt.

speaker-1: Da haben wir eigentlich noch gar nicht drüber gesprochen, aber das wird ja auch häufig als Risiko gesehen, diese extreme Konzentration von Macht an einem Punkt, das man ja für per se schlecht halten kann, unabhängig davon, wer das ist. Es ist ein extrem weites Feld, es hat ganz viele Facetten und wir haben nur ganz dünn irgendwie jetzt über Dinge sprechen können, nur über wenige Dinge sprechen können. Wenn jemand mehr erfahren ... Wenn sich jemand mehr anlesen will über das Thema sichere KI, wo würdest du die hinschicken? sind gute Quellen?

speaker-0: Also 80.000 Hours ist eine Organisation, die sich generell damit beschäftigt, wie man seine Karriere für Gutes einsetzt. Hat das auch als ein ihrer Top-Prioritäten und sehr viele gute Artikel dazu. haben jetzt letzter Zeit auch angefangen, YouTube-Videos zu machen, haben auch einige sehr gute dazu. Für Leute, sehr technisch sind oder auch zu den Themen, die man heute gerät, würde ich ja schon nach dem METRO-Blog empfehlen. Für Leute in Berlin, die können mich kontaktieren oder euch und dann können wir uns vernetzen. Weil wir hier in Berlin auch eine gesunde Gruppe oder Community haben an Leuten, die sich genau mit dem Thema beschäftigen, mit verschiedenen Anleitungen.

speaker-1: damit verknüpft, was können Leute machen? Sie können erst mal verstehen, was das Problem ist. Jetzt nehmen wir mal an, sagen, wir haben ein Problem, was sind konkret Dinge, die Leute tun können?

speaker-0: Man muss nicht eher Governance machen, ⁓ die Allgemeinheit zu informieren. Ich glaube, einfach das Thema auch raus tragen, Sie keine Hemmungen haben, auch in Diskussionen zu kommen. Ich kenn das auch vor vor fünf oder sechs Jahren, als ich angefangen hab, mit dem Thema zu beschäftigen, ich Diskussionen von so vielen von meinen Freunden Aktuell hab ich keine Diskussionen mehr, weil das eigentlich alle sehen. Und zwar nicht unbedingt ich, der sie überzeugt hat,

speaker-1: In der Realität, ja.

speaker-0: Die Leute abholen, da wo sie sind. Und wenn man selber, ich meine, ich habe auch in Software gearbeitet, bevor ich bei METROBA, einfach bei sich im Arbeitsumfeld auch gucken, dass die aktuellen KI-Modelle vernünftig eingesetzt werden und das jetzt auch mit dem EU-AI-Act, da wird es auch mehr kommen in den nächsten Jahren, dass in Europa zumindest die Regulatorien eingesetzt werden, man das da kann man sich auch einbringen, dass das auf eine Art Weise passiert, dann gut fürs Unternehmen ist und auch gut, sage ich mal, für die Allgemeinheit und für die KI-Sicherheit. Und natürlich auch vielleicht schon mal ein paar Mal angekommen, an den Klungen, METRO ist eine kleine Organisation und ja, mehr Leute bei METRO oder bei verwandten Organisationen. Und mehr Geld sorgt auf jeden Fall auch dafür, dass das Feld sich besser entwickelt und dass wir bessere Evaluation machen können. Und auch in anderen Bereichen. das Spenden bei Effektivspenden. Ich glaube, du bist da ja auch als Formmanager sehr involviert.

speaker-1: ⁓ Genau, wir haben diesen Spendenfonds KI-sicher gestalten, der Organisationen wie beispielsweise Mieter unterstützt. Martin hat mich gefreut, es war ein wilder Ritt. Hast du noch irgendwas, was du loswerden willst?

speaker-0: Nee, habe, also, ich könnte über das Thema auch ewig reden, genau, wenn ihr mich irgendwie kontaktieren wollt, dann entweder meinen Kontakt an mir direkt teilt oder über Sebastian, dann können wir uns auch gerne dazu direkt austauschen. Ich danke.

speaker-1: Vielen Dank!