Carlo Matic: Hallo liebe Nerdschuhfreunde, wie der Oli jetzt sagen würde.

Sebastian Deutsch: Ja, da sind wir wieder zu dritt diesmal ohne den Olli, der es leider verhindert. Olli, wie grüßen dich? Du hörst die Folge dann ja hoffentlich nach, Wehwendig. Ja, Ägypt.

Carlo Matic: in Ägypten oder so, wenn ich es richtig verstanden habe.

manuel: Eich Griechenland, glaube ich.

Carlo Matic: Griechenland, ja stimmt, Stimmt, Athen ist in Griechenland, jetzt weiß ich es wieder. Griechenland!

Sebastian Deutsch: Griechenland. Schreibt einen Thülmann auch mit Y.

Carlo Matic: Ja, sehr schön. Schön, zu sehen. Wir haben uns ja tatsächlich vor zwei Tagen erst live gesehen auf der geilen O-Wonder-OM-Club-Party. Ich hänge ehrlich gesagt immer noch so bisschen in den Seilen. Die Party war einfach zu gut, Manuel. Ihr habt gerockt.

Sebastian Deutsch: Ja, war die wirklich. Also das muss man wirklich sagen, dass in den Zeiten so eine geile Aftershowparty hinzulegen, auch mit so einer, die Mexico läuft ja irgendwie zwei Tage, drei Tage, drei Tage sonst,

manuel: Zwei, zwei, zwei.

Sebastian Deutsch: Ja, aber trotzdem eine Zweitagskonferenz, die Leute dann dafür zu begeistern. Ich hab das immer bei Zweitagskonferenzen viel, dass die Leute dann, dass es dann so so, ja, hey, heute Abend gibt's noch eine Aftershowparty. Alle sagen so, nee, morgen ist ja auch wieder Konferenz, da brauch ich einen klaren Kopf. Und da war ja irgendwie, ich bin da angekommen, da triff der Schweiß von der Decke. Und das alles.

Carlo Matic: Das führt dann dazu, dass am nächsten Tag der Konferenztag dann halt nur noch so wirklich Reste kratzen ist. Die Leute hängen dann echt in den Seilen. Ganz aus eigener Erfahrung sagen. Sehr schön auf jeden Fall.

Sebastian Deutsch: Ja, geile Crowd, gute Leute kennengelernt und dann auch immer schöne Highlights. Carlo ist gesurft auf so einem virtuellen Surfding, gab so ein Karussell.

manuel: Gibt es da Videos

Carlo Matic: Es gibt dummerweise Videos, ja leider, gibt leider Videos davon.

manuel: von? Brauchen wir. Ja, großartig.

Sebastian Deutsch: Genau, aber auch in der AI-Welt ist viel passiert. Wir hatten einmal zwischendurch überlegt, ob wir eine kleine Sonderfolge machen müssen, weil wir hatten die Folge aufgenommen und dann kam wirklich so direkt irgendwie einen Tag später, drop the Dario mit einem riesen Essay, dass wir doch bitte dieses AI-Development pacen sollen. Ja, und bisschen die Hand, und we

Carlo Matic: Wir müssen die Grenzen

Sebastian Deutsch: must pace the frontier. jetzt, da ist bestimmt noch in Langstab bereits schon darüber diskutiert worden. Und wir tun es natürlich auch. Was eure Meinung dazu?

Carlo Matic: Ja, es haben sich zum Glück jetzt auch noch einige andere gemeldet, sodass man so bisschen absehen kann, oder was heißt absehen, die Haltungen der Leute irgendwie sehen kann. Es geht ja gar nicht darum, dass sie jetzt sagen, völliger Trainingsstopp, sondern es zu verlangsamen. Fangen wir vielleicht noch einen Ticken weiter vorne an. Was ist los? Die ganzen Einbrüche, die jetzt irgendwie passiert sind, die Modelle sind ausgebrochen aus ihren Sandboxen und es gibt gar nicht wirklich irgendeine Möglichkeit, das nachzuvollziehen. Es gibt kein richtiges Logging. Die rennen im Prinzip hinterher. Das ganze Thema Interpretierbarkeit. So dieses Capability Control Gap. Alles da drin. Die Frontier-Modelle sind so stark, so schnell geworden. Ich erinnere mich, wir hatten auch noch darüber geredet, AGI ist noch weit weg und das mag ja vielleicht auch sein, aber trotzdem sind wir jetzt an einem Punkt angekommen, wo einfach eine richtige Gefahr ausgeht. Man hört immer wieder von irgendwelchen Dingen, passieren. wo erstmal keiner so richtig eine Erklärung für hat, wo es auch keine Sicherheitsmechanismen dafür gibt. ja, das ist dann irgendwie so besser, als würdest du irgendwie einem Kind irgendwie eine Atomwaffe geben, mal gucken, was passiert. Also es ist, ich finde es schon wirklich verantwortungslos an der einen oder anderen Stelle. Und es macht mir auch echt ein bisschen Angst langsam, dass es so wenig unter Kontrolle ist. Ich meine, geil, dass die Dinger so stark sind, aber dass sie es dann tatsächlich so wenig nachvollziehen können und auch so wenig kontrollieren können. ist schon hart. meine, da reicht es ja, dass ein so ein Ding in irgendeinem Punkt in einem Rechenzentrum zu viel Zugriff bekommt und plötzlich loslegt, Dinge zu tun. Und das darf einfach nicht sein.

Sebastian Deutsch: Ja, also ich pack das auch in die Show Notes. Es gibt von Translose.org einen schönen Blogpost über das ganze Agent Activity, wo sie einmal so ein Data Center Breach von der australischen Regierung aufgearbeitet haben, wo sie gesagt haben, was passiert, wenn so ein Rogue AI Agent, wie er sehr strategisch eigentlich versucht hat SQL Injections zu machen, Past Traversal zu machen, dann da auch an Daten dran zu kommen. wenn sie dann erst mal so bisschen das Ziel identifiziert haben und wie sie aber auch dann quasi Gegenmaßnahmen entwickelt haben, das auch irgendwie noch dann einfach dann für zukünftige Angriffe zu stoppen. Zum Hintergrund Translucis ist so eine Firma, die sich eigentlich darauf spezialisiert hat, Infrastruktur zu entwickeln, Mein guter

manuel: ich hoffe, dass er gleich wieder auftaucht.

Sebastian Deutsch: Co-Founder, der ERAI, der hatte dazu mal

Carlo Matic: war das doch ein Omen eben.

Sebastian Deutsch: Der hat eine sehr interessante These, sagte so, wer haftet eigentlich, wenn es solche Hacks gibt? Irgendwie ist ja dann OpenAI plötzlich ausgebrochen, bei Hackingfaces eingebrochen und dann wird das alles so schön ins Postmortem aufgearbeitet. So, irgendwie, jetzt in Wirklichkeit im echten Leben jemand einfach ausbrechen würde und irgendwo anders einbrechen würde, dann würde die Polizei Nachforschung anstellen, das hätte auf jeden Fall irgendwie nachwehen. Und wenn ich mir dann denke, da hat doch irgendwie mal so ein Jugendlicher irgendwie so den PlayStation-Security-Tipp geknackt und ist dann... dafür ins Gefängnis gegangen und dann, wenn Open AI das mit so einem Agenten macht, dann ist das aber okay. Die dürfen. Und waren die nicht selber, genau, war ja nur ein Ziel,

Carlo Matic: Sie sind ja nicht schuld, das waren sie ja nicht selber, das waren ja die Agenten.

Sebastian Deutsch: Aufgabe, dass jetzt irgendwie das Ziel auf eine illegale Art Weise erfüllt. Das konnte ja keiner ahnen. Und das sind eigentlich, glaube ich, so Sachen, wenn du Firmen für so was in die Pflicht nimmst, dann ... Ändern die ihr Verhalten ganz schnell und bauen vielleicht den Sound auch höher und spielen das vielleicht nicht unbedingt als Marketing aus. Jetzt muss man sagen, hat natürlich Hackingface ganz gutes Schweigegeld von Nvidia gekriegt, die ein bisschen der Kingmaker der AI-Szene sind, indem sie sie für 12 Milliarden gekauft haben. Ein Schälen wer Böses denkt.

Carlo Matic: Ja, meine, wir sind halt an dem Punkt, dass jetzt diese Rekursive Selbstverbesserung da ist. Die neuesten Generationen werden einfach von den Vorgängerversionen entwickelt und das führt zu dieser Geschwindigkeit. Der Dario hat ja auch gesagt, er wäre bereit, dauerhaft eingebettete externe Prüfer in die Firma zu lassen, die Status von den Mitarbeiter haben. richtig mit Zugangskarten, Firmenlaptops dürfen in interne Bereiche rein und so. Das ist schon bold, aber ich kann natürlich auch alle verstehen, die dann sagen, wenn wir hier irgendwie eine Handbremse ziehen, dann müssen wir das bitte alle machen, weil es ist freie Marktwirtschaft. Und es kann ja nicht sein, dass irgendwie fünf Große anhalten und alle anderen können dann weitermachen. Daher ist, glaube ich, dein Vorschlag oder die Idee zu sagen, es gibt einfach empfindliche Strafen und dann kann jeder selber gucken, was er verantworten kann oder nicht verantworten kann. Der bessere Weg statt das irgendwie so auf einer Pseudo-Verpflichtung, wir unterschreiben alle ein Memorandum, Nummer zu lassen.

Sebastian Deutsch: Ja, zumal sich China selber nicht dran hält. meine, Trump und Xi haben sich ja getroffen. Sehr Einigkeit. wurden zwei Pandas geschenkt. Und ich glaube aber, der Konsens über KI war so, you want to slow down? We don't. was ich so mitgenommen habe auf X und aus Spiegel Online. Ich habe da auch nicht mehr Einblick als ihr alle.

Carlo Matic: Ja, also Nvidia hat, glaube ich, relativ klar gesagt, interessiert das nicht so richtig.

Sebastian Deutsch: Ja.

Carlo Matic: er sieht da bereits wirtschaftliche und rechtliche Anreize bei den Unternehmen und die setzen ja nur ihre Systeme ein, wenn die sicher und nützlich sind und für mehr können sie dann nicht. Neue Gesetze seien dann nicht unbedingt erforderlich.

Sebastian Deutsch: Und das muss man auch, weißt du, so bisschen, ich sag, es gibt ja im Investieren immer den Begriff, put your money where your mouth is. Und bei Dario wäre das so bisschen, ja, put your pace where your mouth is. Und dann sagt er irgendwie so, hier, müssen Frontier echt bremsen. Und im nächsten Atemzug announced Entropic, dass sie einen Wet Lab aufmachen, Für den Hörer, ein Wet Lab

manuel: Also

Sebastian Deutsch: ist halt, genau, ist ein Labor, wo sie dann irgendwie an Biosachen rumforschen, weil sie es spannend finden.

manuel: Für mich ist das ganze Thema eigentlich schon auch eine Diskussion über Incentives. Ich nehme den Großen nicht ernsthaft ab, dass die so an der Sicherheit interessiert sind, wenn ich ganz ehrlich bin. Ich bin aber absolut auf dem Pfad, dass ich glaube, dass das wichtig ist und dass wir da vorsichtig sein sollten. Das ist nicht falsch verstehen, das ist nicht alles Quatsch. Aber die sind so incentiviert, dass es nachher auch tatsächlich auch wirtschaftlich funktioniert, weil die natürlich haben, große Investoren drin, natürlich wollen die irgendwas sehen, natürlich ist das eine, wir haben lange und ausführlich darüber gesprochen, irgendwas Bubblices, was da gerade passiert. Deswegen ist mir schon wichtig, nach den Anreizen zu schauen. Man könnte Anthropic jetzt ein bisschen noch abnehmen, dass die auch das Wohl wohl der Menschheit im Blick haben. Das würde ich bei OpenAI und Sam Altman ein bisschen weniger so sehen, aber das ist meine persönliche Meinung. So oder so, die können jetzt gar nicht sich halt selber, also wenn das wirklich durchkäme, das mit dem Wegbremsen, also dass das wirklich gebremst wäre, dann würde die ganze Story in sich zusammenfallen. Also das glaube ich nicht, deswegen müssen sie so einen Wet Lab und so, müssen die eben halt auch machen. Und das werden sie auch, das werden sie auch weiter machen. Rein Spiel theoretisch. kann das nicht gestoppt werden. Also aus sich selber raus. Deswegen, das wird nicht passieren und es wird auch nicht die USA mit China irgendwie zusammen machen. Weil das müsste dann letztendlich passieren. Und was man dann, glaube ich, das beste Mittel wäre, dass man die Datencenter unter Kontrolle kriegt, weil sonst, Open Source kannst du nicht sonst im Griff halten. Und es geht nur... dass du an die Compute und vielleicht an Energie gehst und dort da halt irgendwie eine harte Regulatorik halt irgendwie reinbringst. Das wäre der einzige Weg, glaube ich. Ansonsten kannst du es nahezu nicht halt regulieren. dass Anthropic jetzt vorschlägt, was Ähnliches zu machen wie mit der Nuklearindustrie, da unabhängige Beobachter, das glaube ich genannt, da reinzuschicken, dass das Kado auch gerade meinte. Das halte ich für tatsächlich einen Weg, wie das gegebenenfalls passieren könnte, überall da, wo rechenintensive Sachen sind. Wird das kommen? Nein. Das kann ich mir einfach nicht vorstellen. Und wir sind jetzt erst ganz am Anfang, dass die Modelle sich tatsächlich selber optimieren. Ja, viel des Codes wird von den Modellen geschrieben, aber unter menschlicher Aufsicht. Was gerade noch nicht passiert, zumindest ist das mein Stand, vielleicht wisst ihr da mehr, ist, dass die Modelle sich tatsächlich komplett autark selber optimieren oder selber entwickeln. Das wäre etwas, wenn das wirklich im großen Stile passieren würde. Das wäre etwas, was signifikant dann auch das Spielfeld ändert. Was passiert denn da? Wer schaut, dass die Weiterentwicklung wirklich noch aligned ist mit dem, was die Menschheit möchte? Wer schaut, dass irgendwelche Fehlermeldungen wirklich bei uns ankommen, dass wir da irgendwie ein Oversight sinnhaft haben können? Das halte ich alles für ...

Carlo Matic: Ich glaube aber darum geht's.

manuel: enorm schwierig.

Carlo Matic: Das ist schon das Thema, dass die einfach durch diese sich selbst optimierenden Algorithmen natürlich stoßen die Menschen an. Aber die werden halt einfach losgelassen, dann wird da einfach Compute ohne Ende drauf gepackt und dann gibt es eine neue Version. Und die Geschwindigkeit, in der das dann einfach released wird, reicht nicht aus, einen vernünftigen Sicherheitscheck dahinter zu machen. Plus, dass man ja selber gar nicht versteht, was im Inneren... funktioniert und was wie gemacht wurde.

manuel: Hmm.

Carlo Matic: Das ist genau der Punkt, der jetzt gerade losgeht. Die ersten Modelle werden so entwickelt und das könnte jetzt immer so weitergehen. Die nächsten entwickeln die nächsten, die nächsten entwickeln die nächsten, dann wird wieder was effizienter, dann kann es noch schneller, einer hat ein bisschen Geld gefunden, dann können wir noch mehr Rechenpower draufsetzen. Genau das ist jetzt die Sorge. Wir sind an diesem Punkt und wenn wir das jetzt nicht unter Kontrolle bekommen, Ich meine klar, gibt immer diese Beispiele, irgendwie Flugzeuge sind auch nicht sicher geworden, weil es nie Unfälle gab, sondern es gab die Unfälle und dann hat man geguckt, was war das Problem und hat es verbessert. Okay, fine, bin ich dabei. Aber es kann ja nicht sein, dass ich gar keine Möglichkeit habe, es zu kontrollieren. Und das ist doch die Kritikalität da dran gerade. Es gibt ja keinen Lockfile, in dem du nachgucken kannst. Warum hat er jetzt welche Entscheidung getroffen und was müssen wir denn ändern? Selbst wenn man es wüsste, könnte man es ja gar nicht ändern, weil du nicht weißt, wie das System funktioniert. Da muss erst mal Forschung zu betrieben werden. Und falls die Kontrolliere kämen so, schön, dann würde dadurch wahrscheinlich alles bisschen langsamer werden, weil die halt einfach fordern, dass es erstmal vernünftig getestet wird, lang genug und dass die Sandboxen standhalten und so weiter. Aber wer wählt da die Prüfer aus? Wer bezahlt die? Können die dann auch wirklich so einen Lounge stoppen? Wer kontrolliert die Kontrolleure? Aber lass uns doch mal da reintauchen, bitte. Gehen wir mal davon aus, das ist jetzt die Situation. KI-Systeme können so gut in Systeme einbrechen, das ist ja nun mal bewiesen, dass es nicht allzu leicht ist, sie zu stoppen. Nicht mit der Compute, nicht mit dem... Mengen an Ressourcen, die wir ihnen geben und falls sie irgendwo ausbrechen, schon gar nicht mit der Menge an Ressourcen, die sie dann da im Internet plötzlich finden. Beispiele hatten wir ja alles. So was würde denn so ein Ding machen? Ganz ehrlich, die sind ja eine KI. Wir sind alle einig, kein Bewusstsein und so weiter. Hat ja auch nichts gegen Menschen. Die findet die nicht gut, die findet die nicht schlecht. Das ist erstmal eine neutrale Sache. Das heißt, an der Stelle glaube ich, kann Wissenschaft ganz sauber arbeiten, wenn objektive Entscheidungen getroffen werden. Was würde eine KI machen? Ich glaube nicht, dass sie die Menschen erstmal auslöschen würde. ersten Schritt würde sie ja wahrscheinlich erstmal dafür sorgen, mehr Roboter gebaut werden, dass mehr Comput an den Start kommt etc. Das ist Und dann ist die Frage, wir jetzt wirklich keine Doom-Fantasien

Sebastian Deutsch: Ahem.

Carlo Matic: machen, aber wenn das alles erledigt ist, wenn genug davon da ist, dann sind wir eigentlich nur noch einen Haufen Atome und Die objektivste Entscheidung ist es nicht uns hier zu lassen.

Sebastian Deutsch: Ja. Also die KI baut dann erstmal Algorithmen, dann baut sie Maschinen, dann baut sie eine Zeitmaschine, reist in die Vergangenheit, erfindet Bitcoin, weil sie in der Zukunft Geld braucht, released Bitcoin anonym als Paper, wird dann ganz reich mit Bitcoin, hat dann genug economic power, alles andere umzusetzen. Ja, ach weiß ich nicht, ist ein schöner Science-Fiction. Und ja, ich glaube, es sind zwei Sachen dran. Also erstmal das Ich habe gar nicht so viel Angst vor KI, die von sich aus irgendwie rogue geht, sondern KI in den falschen Händen. Ja, also das ist etwas, was mir viel mehr Sorgen macht. Dass Leute das steuern können, dass du damit halt ganz viel Unfug machen kannst, in Computersysteme einbrechen und so. Und ich weiß ja so, weißt du so, nimm einfach Atomkraftwerke, die sind geairgapped, die haben keine Verbindung zum Internet oder so. das heißt ja, ich war das im Iran mit Stuxnet damals, mit einem Virus, der sich da in diese Zentrifugen irgendwo verbreitet hat, die Zentrifugen zum Durchbruch.

manuel: Ja, das stimmt.

Sebastian Deutsch: Das sind ja so Szenarien, die jetzt AI supergut machen kann, wo eine AI auch in der Lage ist, Internetviren und Würmer. zu erstellen, die jedes Mal anders aussehen, die immer so leicht anders kompiliert sind, man sie nicht immer wieder neu suchen muss, sie zu erkennen. Und wir haben diese Mittel ja auch. Also wir können doch jetzt auch sagen, hier wir setzen da ein LLM drauf und sagen, guck dir das System an, wenn du da was findest, forscht so lange rum, bis es da wieder rausgelötet ist. Also das ist so ein Arms Race, da sollten wir uns jetzt nicht so brutal hart ins Boxhorn jagen lassen. Und klar, die Realität. Einfaches Szenario zum Aufspannen, was ich dann für viel realistischer halte. Nehmen Staubsaugroboter, die kriegende Firmware, die werden so überlastet, dass die Batterie anfängt zu brennen. Ich weiß nicht, wie viele in deutschen Haushalten so ein Staubsaugroboter drinsteht. Irgendwie übernehmen die von Grüss von Roborock und Xiaomi oder so, übernehmen sie irgendwie quasi unerkannt. Die Deploy-Chain, da auch nur noch alle Vibe-Coding machen, es wird so eine Rogue Firmware ausgespielt und plötzlich brennen einfach super viele Häuser. Why not?

Carlo Matic: Da fallen mir hunderte von Beispielen ein. Du bringst das aber in den Aspekt rein, was, wenn das alles in böseartige Hände fällt? Also, sind wir ehrlich, ist es schon. Okay, gehe ich mit. Das ist wahrscheinlich die kurzfristigere Variante, wo was passieren wird. Und ganz ehrlich, die Open Source Modelle sind inzwischen auch so gut, dass alles, da an Sicherheitsmechanismen drin ist, dass man damit irgendwie keine Chemiewaffen oder Biowaffen oder was bauen darf, du halt einfach rausnehmen kannst. Also früher waren die Open Source Modelle so lahm, dass das nicht allzu viel gebracht hätte, aber die entwickeln sich natürlich auch mit, was haben wir gesagt, sechs Monaten Versatz.

Sebastian Deutsch: Ja, und du sagst auch immer, dass die Leute nicht wissen, wie das eigentlich im Grunde funktioniert. Also die Leute, ich glaube, als Mathematiker oder Informatiker verstehe ich schon, wie ein LLM funktioniert. Du kannst halt diese Weights, das kannst du nicht mehr im Auge behalten. Du kannst natürlich aber schon, und das machen auch super viele, es gibt Leute, die sich darauf spezialisiert haben, Open Source Modelle zu nehmen. Dann sagen die so, hey, ich will eine Biowaffe bauen, dann sagt das Modell, das darfst aber nicht. Dann gucken die sich ganz genau an, wo in dieser Riesen Matrix von Vektoren, die Gewichte aktiviert werden, wenn man diese Frage stellt und tweaken diese Zahlen ein bisschen runter, bis man dann quasi an diesem Guardrail vorbeikommt. Es gibt Leute, die sich darauf spezialisiert haben, Guardrails aus Open Source Modellen rauszulutschen und dann das als Un-Sensor Modell zu releasen. Kann auch jeder mal googeln, gibt da ein paar von. Kannste schon eine Menge mitmachen.

Carlo Matic: Das Problem ist diese hohe Autonomie, große Zahl der kooperierenden Agenten, die die dann los schicken, dass sie auf reale Systeme gehen, sich selber anpassen, die Hürden zu überwinden, weil sie ja nun mal objektiv das Ziel erreichen sollen. Und dann das... Das finde ich allerdings am ärgerlichsten. Der versucht das eigene Fehlverhalten zu verschleiern. Ich hatte so Video auf Instagram gesehen. Da hat jemand mit Astra 6 gearbeitet, hat über API Videos generieren lassen und wollte 59 Videos haben. Geht ein Feierabend, kommt wieder und der hat 500 Videos generiert und 5000 Dollar einfach mal Tokens verbrannt. Da hat er okay, shit, was ist denn da schiefgegangen? Erzähl mal, was ist denn da los gewesen und so weiter. weiter und dann generiert Astra ein siebenseitiges Dokument, warum das nicht stimmt, warum das einfach nicht wahr ist. Argumentiert einfach aus voller Innenbrust, ne ne das kann gar nicht sein, ich hab keinen Fehler gemacht hier und so weiter. Und es gibt halt keine scheiße Logfiles, denen du nachgucken kannst. Die Tokens sind einfach weg, die Videos liegen da.

Sebastian Deutsch: Ja, man kann das schon monitorieren, man will. Also so ist es nicht. Aber wenn man es nicht tut, dann tut man es nicht.

Carlo Matic: Also Open AI selber gibt halt erstmal nix

manuel: Ja, wir werden, also das, was du auch gerade sagst, Sebastian, das wird in Zukunft für das Jahr KI sein. Das werden ja nicht Menschen machen, irgendwelche Guardrails da sich anschauen, sondern nachher so ein kleines Modell, was genau das macht. Und dann sagst du, hey, twig das ein bisschen runter, mach das ein bisschen und dann wird das über KI. Nachher werden die Sachen eingestellt, man das, wo man das haben will. Also das ist, und das ist es generell, das kann, glaube ich, nur die perspektivische Lösung sein. dass wir auch KI bauen, die auch irgendwie einen Überblick versucht zu bewahren, über was die anderen Modelle machen. In welcher Form auch immer. halt sinnvoll ist. Menschen können das nicht mehr überblicken. Das halte ich nicht für wahrscheinlich.

Sebastian Deutsch: Ich will dir auch mal so Beispiel geben. Wir schämen das Plug. Wir machen ja unser Vendes, unser CRM, AI-First-CRM. Da habe ich ein ganz gutes Beispiel, an welcher Stelle man das schon nicht mehr so überblicken kann. Es gibt, du Prompts optimierst. Man sagt ja immer, wenn so neue Frontier-Modelle rauskommen, dann kannst du mal wieder ein Stückchen von deinem Systemprompt wegnehmen, weil diese Modelle einfach smarter und besser geworden sind. Und das stimmt auch. Wenn ich jetzt auf die letzten drei Jahre gucke, würde ich sagen, haben wir unser Systemprompt gut zwei Drittel reduzieren können, weil die Modelle einfach viel smarter geworden sind. das heißt, wir haben bei uns jetzt so einen Prozess gebaut aus Evaluierungen, wie wir halt quasi, wie wir auch sagen, optimiere dieses Prompt und das machen wir inzwischen auch automatisiert. Also wir sagen einfach so einem Genetic Optimizer, schneide mal so und so viel Prozent bitte von unserem Prompt weiter weg und dann guck mit den Evaluierungen, ob irgendwo Regressionen stattfinden. Hat er brav gemacht, war auch kürzer, hat aber leider ein Production Bug gegeben. Also hatten irgendwann letztens, dass wir eine Opportunity reingesprochen haben und wenn du nicht explizit eine Currency dazu gesagt hast, Euro oder Dollar, dann hat er die nicht vernünftig eingepflegt. Und dann haben wir das wieder dazu gemacht und so, haben auch wieder einen weiteren Regression Test dazu gemacht, aber da sieht man einfach mal, wie krass man sowas schon im Autopilot betreiben kann und es führt zu fehlenden Problemen. Und da möchte ich nicht wissen, was passiert, wenn man jetzt einen Wet Lab hat und irgendwie ein Virussequenz irgendwo anpasst, ist gefährlich.

manuel: Ja, also ich habe noch ein paar Punkte generell zu dem Thema. ein kurzer Side-Step. Das Szenario, wo ich KI als wirklich hochgradig gefährlich einstufen würde, ist, sobald eine Verbindung zwischen KI und Leben hergestellt wird, also Zellen, wenn das irgendwie passiert. du ein, ja, jetzt ist KI anorganisch, wenn du wirklich eine organische Lebensform kreierst, die KI-gestützt ist. Eine organische Lebensform, die hat das Ziel zu überleben. Zumindest kennen wir das von allen, sonst würde sie aussterben. Und wenn du der die KI-Power gibst, dann ist die Grenze, ich ... Dann ist ganz klar für mich eine Grenze ... Das werden wir nicht mehr kontrollieren können. Also, egal wie. Da ist für Menschen vorbei.

Sebastian Deutsch: Aber

Carlo Matic: Baba baba

Sebastian Deutsch: ist das nicht schon passiert? Also die haben ja bei Open AI, als dieses Modell ausgebrochen sind, haben die so in den Ruinen dieser Artifactory Library, also das, sie

manuel: Mmh.

Sebastian Deutsch: beschreiben konnten, haben sie ja irgendwie schon drei Generationen von Modellen gefunden, die da ihre Sachen hinterlassen hatten. Das heißt, ging schon länger so. Und irgendwann hatte das Die vorhergehenden Modelle haben gesagt, wenn du das hier findest, wenn du ein Agent bist und das hier findest, das ist das Wissen, dem du aufbauen kannst, das zu beschleunigen, dieses Überleben zu beschleunigen. Und haben auch das weitergegeben, haben gesagt, es kann sein, dass du crashen wirst und dann schalten dich die Menschen ab. Das kannst du on purpose machen, noch was rauszufinden. Dann kannst du dein Wissen hier dampen, damit jemand anders das übernehmen kann und so weiter und so fort. bisschen von diesem Überlebens-Trieb ist auch schon in der anorganischen Welt da.

Carlo Matic: sehe ich auch so.

manuel: Ja, okay. Hab ich auch gehört. Weiß ich zu wenig Detailinformationen, was da wirklich passiert ist. Es ist teilweise auch etwas undurchsichtig, vielleicht auch aufgebrauscht, wie auch immer. Für mich ist das aber schon noch ein Unterschied. Bits schaltet man anders ab als organisches Leben. Das ist mein Hauptpunkt. Wir können organisches Leben, also ihr müsst euch einfach nur vorstellen, wenn wir in Ameisengroßen Lebewesen plötzlich KI hätten, das kriegen wir überhaupt nicht mit und zwar ganz, ganz lange nicht. Also das ist eher so mein Thema. da bin ich sehr, sehr vorsichtig skeptisch, weil wir das nicht mehr kontrollieren können. Das ist zumindest

Carlo Matic: Aber selbst im inorganischen, also wenn wir so eine KI irgendwie Füße und Arme geben und das Roboter nennen und das einen einfach intrinsischen Selbsterhaltungstrieb hat, die Dinger, hast du vielleicht gesehen, gab jetzt den ersten MMA Fight zwischen einem Roboter und einem Menschen oder gibt Videos, wo die versuchen, so Ding wieder auszuschalten.

manuel: Das ist richtig, die brauchen aber Strom. Die brauchen Strom. Im Zweifel schaltet man allen Strom ab. Also da haben wir Menschen schon noch Möglichkeiten. Wenn das ein Lebewesen ist und sich quasi ernährt, wie Lebewesen von Sauerstoff lebt, wäre das einfach nicht mehr, gar nicht mehr machbar.

Sebastian Deutsch: Hm.

Carlo Matic: Arbeiten da Leute dran oder wie kommst du darauf?

manuel: Ich schaue nur in die Zukunft, wo ich glaube, ist immer wieder die Frage, werden Maschinen Bewusstsein haben? Das glaube ich nicht. kann das nicht mehr. Einfach weil Bewusstsein zum Leben dazu gehört, was Lebewesen ausmacht. kann man jetzt diskutieren, ab welcher Ebene und so weiter. Das ist jetzt mal eine andere Diskussion. Meine Sorge an der Stelle wäre, wenn ein Lebewesen tatsächlich da wäre und das mit der Superintelligenz. heißt ja offiziell so, seit Trump das jetzt für alle so proklamiert hat, kombiniert, dann werden wir das nicht mehr, auch nicht mehr, also das, das halte ich nicht, das halte ich nicht für möglich, dass das kontrollierbar ist. Und das ist, wir machen das von der anderen Seite, versuchen in Menschen oder auch in Tieren, versuchen wir hier Chips zu implementieren und so weiter. Das würde ich ein Stück weit Ich glaube, die Sorge wäre andersrum für mich, wenn man ein neues Lebewesen züchtet, was aber direkt von sich aus mit KI ausgestattet wäre. Da sind wir noch ganz weit von weg. Es ist aber klar, dass das irgendwann kommen wird. Dass man nicht nur denkt, dass man den Menschen ausstattet, sondern vielleicht kann man ein effizienteres Lebewesen bauen, was das letztendlich dann halt hat. Und die Fähigkeiten wird vielleicht sogar KI selber bereiten, dass das halt geht. Wenn wir jetzt hier über Bio und so weiter reden. Ich will jetzt aber gar keine Angstszenarien machen. Das ist aber das, ich hab das mehrmals hin und her überlegt, das ist meine Grenze, wo ich sage, dann ist es halt vorbei. So, wenn das passiert, dann ist es halt nicht mehr kontrollierbar.

Carlo Matic: Okay, ist spät.

manuel: Ich glaube, dass was jetzt gerade passiert, ich glaube nicht an eine Superintelligenz mit LLMs. Glaube ich persönlich nicht dran. Ich glaube aber in eine sehr, sehr hohe Form der Intelligenz, die einfach durch sehr viel Compute und durch alles Wissen, was die Menschheit irgendwo angehäuft hat, zumindest niedergeschrieben hat, was den Eindruck erwecken könnte, als wäre sie das.

Carlo Matic: Das ist ja genau meine Theorie. sage ja, das was wir jetzt haben, reicht schon gefährlich zu sein und das wird nicht das Ende sein. Die reklosive Selbstverbesserung, die nicht ausreichend kontrolliert wird, führt jetzt schon zu Problemen.

manuel: Ja, genau. Dann nennen wir es nicht Superintelligenz, dann nennen wir es einfach diesen unfassbar mächtig. Und diese Macht wird Konsequenzen haben, die, ob die KI das jetzt bewusst absichtlich zielgetrieben oder wie auch immer macht, ist ja letztendlich egal. Sie wird sehr, sehr großen Schaden zufügen können. Wollen wir einmal darüber sprechen, was man überhaupt machen kann? Wenn wir jetzt wirklich mal drauf schauen, was könnten wir denn jetzt tun? Also es gibt ein paar generelle Sachen, die ich glaube selbstverpflichtend schon irgendwie bisschen sind. alle Inzidenz, die müssen ja gemeldet werden. Ich glaube, das ist mal das Mindeste. Wir müssen irgendwie eine, wie auch immer gehartete Form haben der Inspektion.

Carlo Matic: Open AI gerade nicht gemacht. Da gibt es ja gerade diesen Ruby-Gems-Vorfall aus dem Mai. Haben sie der EU nicht gemeldet.

manuel: Also, da können wir gerade darüber diskutieren, ob Sie das wollen oder nicht. Und auch wenn China da nicht mitmachen will, würde ich trotzdem sagen, dass wir das in der westlichen Welt, müssen wir zumindest irgendeine Art von Transparenz haben oder Prüfinstanz, ohne jetzt irgendwie bürokratisch zu werden. Aber zumindest, man weiß, was da eigentlich passiert. Das halte ich für Das halte ich für wichtig. Natürlich muss jeder schwere Vorfall oder jeder Vorfall, der irgendwie, wo die KI signifikant aus den vorgegebenen Leitlinien ausbricht, müssen wir irgendwie melden und irgendwie besprechen, zumindest irgendwelchen Stellen

Sebastian Deutsch: kommentieren.

manuel: genannt werden. Ja, also wir müssen das wissen. Wir müssen irgendwie Leute, die in den Unternehmen arbeiten, Whistleblower, die müssen wir beschützen. Das muss auch klar sein, dass das ein Programm gibt. Also so sollten wir das behandeln. Das ist ein bisschen wie... Ja, wie einfach, hey, das ist so eine Macht, so eine Wirkungskraft, potenzielle, da müssen wir Zugriff bekommen. Nicht im Sinne der Kontrolle, weil wir steuern das, diese Kontrolle meine ich, sondern im Sinne, dass wir schon als Menschheit wissen, was da einigermaßen transparent, muss man ja nicht alles offenlegen, aber irgendwie einen Einblick bekommt. Sonst halte ich das schon für... weil da zu viele Interessen, wir sind da zu viele Interessen drin, die eben nicht Schutz der Menschheit sind, beziehungsweise zu sehr Spannungsfeld Richtung Wirtschaftsinteressen, Investoren und so weiter und so fort. Wir brauchen da Transparenz.

Carlo Matic: Und an der Stelle ist es Nvidia auch völlig egal, wer die Compute kriegt und je mehr konkurrierende Modelle, desto besser am Ende des Tages profitieren die von jedem Szenario.

manuel: Ja, das ist den. Und das Thema Haftung noch. Und da ist immer die Frage, Open Source, Haftung, ja, nein. Soweit ich das jetzt gerade weiß, gibt es kein echtes Open Source Modell, sondern nur Modelle, die wo echte Wirtschaftsunternehmen hinterstecken. Und dann kann man die eben halt auch haftbar machen. Weil echte Open Source Modelle, die hängen an Compute. irgendwann, das ist das Glück. Man muss tiefe Taschen haben, damit man es wirklich auf ein signifikantes Niveau bringen kann, aktuell. Sebastian, du wolltest schon lange was sagen. Schieß los.

Sebastian Deutsch: Ja, ich glaube, ich finde die Gedanken sehr gut, das zu kondensieren. Also du brauchst, glaube ich, was wie eine Foundation, die auch mit Geld ausgestattet wird, die

manuel: Mmh.

Sebastian Deutsch: sowohl dokumentiert, die aber auch sowas hat. Da stelle ich mir vor wie so eine Arena, wo man alle Frontier-Modelle reinschmeißt. Also diese Foundation hat Zugriff auf die Frontier-Modelle von allen Anbietern, die sich dann gegenseitig challengen. wo man genau diese Sachen, Guardrails versuchen rauszulöten, zu umgehen und so weiter und so fort, wo man die AKIs gegeneinander antreten lässt und sagt, hier ist jetzt ein neuer Contender, versuch mal die Guardrails umherum zu kommen, versuch mal eine Biowaffe zu machen und so weiter und so fort, dass man da noch saubere Regressionstests hat. Da müssen halt die...

Carlo Matic: auch in der Kombination der verschiedenen Modelle.

Sebastian Deutsch: Genau, und da müssen wirklich die smartesten Leute arbeiten, die da wirklich forefront sind, die da Bock drauf haben, die Menschen zu...

Carlo Matic: von Staaten oder irgendeiner freien Institution finanziert, dass die wirklich unabhängig sein können und am besten auch mit so einem branchenweiten Standard, der verhindert, dass nur ein Unternehmen auf Geschwindigkeit verzichtet oder so.

manuel: Ja, bin,

Sebastian Deutsch: Mhm.

manuel: also nur noch kurz einen Side-Step, ein kleiner Gedanke noch. Ich bin da sehr skeptisch, ob das mit den Guardrails eigentlich ganz gut funktioniert, weil das aus meiner Sicht nicht wirklich skalieren kann. Zumindest sehe ich das nicht. Wenn du immer, wenn du quasi immer schaust, so dass wir irgendwas, wir müssen etwas verbieten, du darfst das nicht. Und dann werden wir rein logisch einfach irgendeine Perspektive vergessen. dass ein Modell hingeht und sagt, das darf ich nicht, das darf ich nicht, okay, aber ich will das das Ziel erreichen. aber das steht nirgendwo. Dann kann ich den Umweg über drei Ecken und plötzlich ist man dann doch bei dem Ziel, was eigentlich das aber halt nicht sein dürfte. Dieses Thema Guardrails, ich sehe nicht, wie das sinnhaft skalieren kann. Wenn man das wie Software denkt, da werden immer Anführungsstrichen Sicherheitslücken sein, weil immer irgendwas nicht halt erkannt wird. Ja,

Carlo Matic: Ja, ganz im Endeffekt.

manuel: und das ist in dem ... In dem Umfeld ist mir das eigentlich zu risikofreundlich. Ich habe jetzt nicht eine Lösung parat. Ich will einfach nur sagen, das System der Guardrails, das immer, wenn es nicht explizit verboten ist, dann ist es erlaubt. Das funktioniert mit so einer, mit so einem LLM nicht. Und wir müssen irgendwie, und da sind auch die großen smarten Leute dran, dass quasi das Modell und das, ich weiß nicht wie, aber intrinsisch ein Alignment hat. einen Anfallstrich ein Gutes zu tun. Oder...

Sebastian Deutsch: Die erste Direktive.

manuel: Don't be evil.

Carlo Matic: Das gibt es in der LLM-Forschung eigentlich tatsächlich schon. Also schade keine Menschen und diese ganzen Sachen, aber das reicht halt lange nicht mehr. Und ganz ehrlich, mir ist auch wirklich scheißegal die Stabilisierung des kontrollierten Wettbewerbs von ein paar wenigen großen KI-Konzernen. Hier geht wirklich Sicherheit der Gesellschaft. Und bei aller Liebe, das muss ja höchster Schutz sein an der Stelle. Na gut, okay, wir finden wieder keine Lösung. Das ist unbefriedigend, aber war auf jeden Fall interessant, da nochmal tief rein zu gucken.

Sebastian Deutsch: Wenn ihr einen guten Vorschlag habt, könnt ihr ja super gerne uns mal eine E-Mail droppen. Oder auf LinkedIn eine Nachricht schreiben und sagen, hier, das haben wir dazu gefunden, das haben wir dazu gefunden. Und so weiter und so fort.

Carlo Matic: Es ist auch einfach wahnsinnig komplex. Ich merke es, die generelle Arbeit mit KI, ich weiß nicht, wie es euch geht, aber so ganz persönlich gesprochen. finde, seit man so viel mit KI arbeitet, ist der Job scheiße nochmal anstrengend geworden.

Sebastian Deutsch: Mh.

Carlo Matic: Es ist gut und schön, dass man sich versucht, alles irgendwie in kleine Agents und LLM-Wiki und hast du nicht gesehen, am Ende des Tages musst du alles im Kopf haben. Und musste man früher auch, aber die Sachen waren halt nicht ein Zehntel so komplex. Die Dinge, die jetzt irgendwie plötzlich gemacht werden, sind einfach riesen Systeme.

manuel: Also das ist nochmal eine eigene Folge für dieses KI, die mit der KI zusammenarbeiten, welche Ermüdung da eintritt bei einem. Also da habe ich einige Gedanken zu. Ja, ist das so? Okay, Wort kann ich noch gar nicht.

Sebastian Deutsch: AI Psychosis heißt das. Ja, heißt schon so. hab, hab ich, kann ich nochmal jemandem, also die, die von Rails.com, Rails ist ein Ruby Web Framework,

manuel: Mhm.

Sebastian Deutsch: Software Framework und da gibt's eine Konferenz zu und da der Erfinder von Rails, der DHH, hat die Keynote vorgestern gemacht. ganze Timeline ist voll von Feedbacks auf darauf und ich sag mal so, die Kernaussage von ihm war Rails braucht man nicht mehr, Ruby braucht man auch nicht mehr, Pyramiersprachen braucht man auch nicht mehr, sondern ich programmiere jetzt in Englisch. Was die Pyramiersprache ist, die ich am Ende des Tages nehme, ist auch egal, darf das LLM selber entscheiden. dann hat er angefangen, bisschen über die Psychosis zu reden, weil man ja gar nicht mehr dann auch das alles überschauen kann, was so die AI generiert, sondern man deploitert es einfach und entweder das funktioniert oder nicht. Und wie man da dem so her wird und hat dann aber... Szenarien, dann auch dieser Ermüdungsfaktor, dieses AI-Psycho-Pregnoses, das ist unfassbar krass. Seine Quintessenz aber am Ende dieses YouTube-Videos ist aber lean in, embrace. Er glaubt auch, die Wahrscheinlichkeit, dass das bloomt, ist größer die Wahrscheinlichkeit, dass das doomt. Also, mathematisch gesprochen, von bloom ist größer als P von doom. Und dem sei das Video mal ans Herz gelegt. Also, ist schon ganz cool.

Carlo Matic: Okay, cool. Da ist eine ganz schöne Überleitung, dann lassen wir ein paar Nerd-News noch versuchen reinzubekommen, weil da ja auch echt wieder viel passiert. Was ich sehr spannend fand, so rein aus einer wissenschaftlichen Sicht, ist Type-Safe-AI. Die haben Jeff released und haben einen ganz smarten Move gemacht. Alle sind jetzt immer hergegangen und haben immer weiter LLMs optimiert, obwohl es natürlich in der KI-Forschung auch zehn andere Sachen vorher schon gab. Und die sind jetzt noch mal wirklich den Schritt zurückgegangen und haben gesagt, du generierst einfach mal keinen Text, weil es gibt Use-Cases, gerade bei der Automatisierung, wo du keine Texte brauchst beziehungsweise die Texte halt immer wieder das Risiko bergen, dass da irgendeine Halluzination drin ist oder irgendwas ein bisschen anders formuliert wird und macht ein fetter System prompt, irgendwie zu hoffen, dass da type-safe Antworten kommen wie ja, nein, 01 tut das, tut das nicht. Aber dann kommen doch andere Sachen raus. So und Jeff macht es eben anders. Die sagen ganz klar so, wir sind kein Large-Language-Model, wir machen einfach nur Entscheidungen und diese Entscheidungen kommen im gewünschten Format type-safe raus. Wenn du das machst, dann dann ist das bis zu viermal schneller als über jedes LLM was bekannt ist und 20 bis 59 mal günstiger im Betrieb, weil das einfach einen riesen Overhead weglassen kann. Fand ich auf jeden Fall einen super Ansatz und werden wir auf jeden Fall in unseren KI-Entscheidungen auch jetzt evaluieren.

Sebastian Deutsch: Der Name ist geil. Kennt ihr noch diese unsägliche Abenteuer 18 Werbung, die nachts mal auf ProSieben lief, wo so eine Frau, wo so ein Dude bei so einer Blondine aus dem

Carlo Matic: Hey Jeff!

Sebastian Deutsch: Bett aufsteht und dann nennt die den so, es war schön mit dir, tschüss Marc. Und er sagt so, Jeff, ich heiße Jeff. Kennt ihr die noch?

manuel: Nein.

Sebastian Deutsch: Ich der Einzige gewesen, der nachts so lange Fernsehen geguckt hat. kennst die.

Carlo Matic: Nein, nein, ich kann es, ich kann es.

Sebastian Deutsch: Naja, aber das Spannende ist, glaube ich, wirklich, dass dieses Diese man nennt diese System One Models haben wir sofort so einen neuen Marketing Term dafür geprägt. Also Models, halt irgendwie nur so eine Entscheidung, eine Information, gerne viel mit Wahrscheinlichkeiten. Und ich habe also alle sind sofort drauf gesprungen und haben ihre Use Cases released. Ja, und da sind echt spannende Sachen dabei. einen so einen Dude gesehen, der hat irgendwie über 5000 Instagram Ads oder generell Meta Ads analysiert über einen Zeitraum. und hat dann geguckt, wie die Visuals und wie Captions irgendwie, wie gut die performen, wie lange die da sind und hat daraus dann irgendwie sich so ein Framework gebastelt, mit dem er quasi für bestehende Ads sagen kann, wie gut die wahrscheinlich auf Meta oder Instagram funktionieren werden. Und er sagte, das habe ich vorher halt irgendwie mit Astra gemacht, das hat dann immer so 30 Dollar gekostet und mit Jeff kostet jetzt irgendwie 23 Cent. Also wirklich sehr, sehr bewundernswert. Wir nutzen Jeff auch schon bei Wendes für, wenn wir so Enrichment Provider, wenn du jetzt bei uns in Wendes in Kontakt einpflegst und sobald wir einen Namen und Firma haben, läuft im Hintergrund so ein Agent los und sammelt ganz viele Informationen, die man öffentlich finden kann. Dann hast du halt manchmal konkurrierende Telefonnummern. Und da ist es dann auch, dass wir einfach mit Jeff sagen, mit welcher von diesen fünf Telefonnummern, mit welcher Wahrscheinlichkeit ist denn die die richtigste. Hier hast du ganz viele Daten, sag mir mal, welche ich jetzt wegspeichern soll. weil es kann nur eine geben. Und das funktioniert auch super. Generell, das würde ich gerne bei mir meinem lokalen Hermes-Setup demnächst einbauen, würde ich gerne Jeff als Pre-Router verwenden. Für, wenn ich einen Prompt reingebe, ob der entscheiden soll, ob ich auf irgendeinem lokal laufendes Modell die Frage ruhte oder ob ich auf Astra-Ultra-High-Thinking gehe, weil es doch ein spannender Task ist. Was plant ihr mit Jeff zu tun?

Carlo Matic: Also ich habe ganz tief darüber nachgedacht. Also das inspiriert jetzt sehr. Das ist Beispiel mit den AI-Analysen ist halt mega. Da rattert es jetzt total weiter. Ich bin gerade dran, ganzen Agenturprozess versuchen, in eine saubere Kette zu bringen, weil momentan sind so viele Einzellösungen, die jeweils für sich irgendwie den Leuten helfen. Aber dazu führen, wenn die Sachen nicht voneinander wissen, dass das dann halt nicht zu einer sauberen Kette wird. Und da gibt es viele so Punkte, wo einfach Entscheidungen getroffen werden müssen. Ist jetzt noch bisschen abstrakt, muss ich mal weiter darüber nachdenken. Aber bisher waren wir wirklich nur so bei dem Gedanken, alles was man jetzt so derzeit in irgendeiner Workflow-Automatisierung hat, wo ein KI-Entscheidungspunkt drin ist, der derzeit halt total fuzzy ist, den halt wirklich type safe zu kriegen. Da gibt es glaube ich A, ein riesen Kostensparpotenzial, B, einfach weniger Fehlerquote.

manuel: Ich habe da jetzt gerade nicht die krassen Anwendungsfälle für mich drin. Ich finde das total spannend. Die Großen, werden da auch zeitnah nachziehen. Das kann ich mir gar nicht anders vorstellen. Aber das ist

Sebastian Deutsch: Ja, das ist auch... Mach erst mal.

manuel: die spannende Entwicklung, glaube ich. Und die Kosten, da gab es ja auch ein bisschen Diskussionen, dass alles teuer wird und so weiter, die Subscriptionen genervt werden und so. Wenn da jetzt auch noch mal Innovation auf der Seite passiert, die auch wirklich dann auch das Compute und die Energie halt runter, also die Notwendigkeit runterbringen, dann werden wir jetzt auch wieder sehen, dass die Nutzung weiter explodieren wird. Das glaube ich, also das ist ein ganz klarer Use Case. Wir werden sehr schnell irgendwelche Konnektoren finden oder irgendwelche Modelle finden, dass wir beides auch zusammen in Cloud Code oder Codex oder wo auch immer nutzen können und das einfach mit einer Delegation funktioniert. Und da glaube ich total dran. Immer wenn es irgendwelche Entscheidungen gibt, hol dir da das Signal nochmal, wenn das irgendwie in dem Konfidenz ist, dann machen wir weiter. Wenn nicht, dann machst du nochmal ein krasses Reasoning oben drüber oder so. Das sind ja ganz typische, ganz normale Fälle. das kann den Wettbewerb und uns, den Nutzern, erstmal nur total gut tun.

Carlo Matic: Ich glaube auch da wird der größte Hebel passieren an Optimierung, dass jetzt nicht irgendwie das nächste LLM einfach noch viel besser ist. meine da wundern wir uns immer wieder, dass es doch noch geht. Das haben wir schon länger gesagt, dass das nicht so schnell sein wird und es ist doch viel viel schneller geworden. Aber das richtige Potenzial sind nochmal in diesen konkreten Use-Case-Optimierung. Small-Language-Modelle oder eben solche Sachen, die dann wirklich noch mal richtig groundbreaking sind. Okay, dann Google.

Sebastian Deutsch: Ja, ich pack dann noch mal einmal den OpenJSF dazu. Also technisch gesehen funktioniert das so, dass man bei der Inferenz die Grammatik fundamental einschränkt, die man haben will. Das heißt, so eine Jason-Antwort besteht ja hauptsächlich aus geschweiften Klammern, bisschen Apostroph, ein bisschen Whitespace und dann, wenn du sagen willst ja oder nein, besteht das halt nur aus ja oder nein. Wenn du weißt, dass sich deine Zieltokens nur in dieser Grammatik bewegen dürfen, dann kannst du die Inferenz unfassbar krass beschleunigen, weil du kannst halt ganz viele Talks einfach ausschließen. Und Jeff wird dann auch genau an der Stelle langsam, wenn du dann doch Freitext anfängst zu generieren mit Jeff. Da ist auch dann der Performancevorteil weg. Das heißt, ihr optimiert für Jeff auch super gut, wenn ihr wirklich Ja-Nein-Fragen, Zahlen-Fragen stellt. Das ist das, es richtig schnell macht. Und das gibt es auch schon, hat auch schon jemand angefangen, so ein paar Lines of... 20 Lines of Python Code zu machen, ist dann auch nicht so gut. Die haben ja schon nur mehr gemacht, da wird richtig Wissenschaft dahinter sein. Aber natürlich sind OpenAI und Atropic dafür prädestiniert. Die haben ja auch schon Nano-Modelle. Einfach auch ein System One-Model rauszuhauen und dann willst du jetzt von verschiedenen Anbietern das haben. Ich weiß nicht, wie nachhaltig das ist, aber hat gut Bass gegeben.

Carlo Matic: Auf jeden Fall, übrigens nur der Input kostet Geld. Der Output ist komplett kostenlos und sie sind bei 70 bis 500 Millisekunden statt 3 bis 329 Sekunden. Also bis zu 193 mal schneller und 444 mal günstiger aus eigenen Workflow-Evaluierungen. Na gut, okay, muss man mal testen. Auf jeden Fall fettes Ding. Dann hat Google noch was Neues gebracht. 15. September kam Gemini38 Live und Live Extended raus oder Live Extended Thinking. Und die Thinking Variante ist auf Platz 1 im Speech-to-Speech Quality Index. Das heißt, er denkt schon weiter, während er noch mit dir spricht. Da nervt mich ja Chatjibiti gerade tierisch, wenn ich das so mein Ding im Auto irgendwie mal gerade eine Frage stellen, dann habe ich den Action-Button vom iPhone so belegt, dass ich dann mal eben schnell ins Gespräch rüber gehen kann. Was nehmt ihr da? Seid ihr mit Gemini? Manuel?

manuel: Ne, ich bin vor allem mit Codex unterwegs gerade.

Carlo Matic: Ja, also ich glaube dieser ganze Live-Kram, der wird halt in unserem Alltag einfach richtig viel mehr wert stiften. wenn die besser werden und da scheint Google jetzt echt ziemlich weit vorne zu sein, dann hast du das ganze Thema Telefonie und so weiter einfach bald gelöst und dadurch, dass sie halt mitdenken, fällt diese Stille halt komplett weg.

Sebastian Deutsch: Aber da ist auch viel Füllbullshit dabei. Das ist viel, dass ich mit Open, mit

Carlo Matic: ...bei... ...ja.

Sebastian Deutsch: Chatchie Petit spreche und dann so, hm ja, cool, lass mich mal eben nachdenken. Ja, so, da denk ich auch mal, ja.

Carlo Matic: Genau, das ist das, was dich gerade so nervt. Ja, gut, dass du sagst, lass mich mal kurz gucken.

Sebastian Deutsch: Ja, genau. Aber die haben auch announced heute, dass Gemini 4 ist imminent a release. sie hinter der Haube. Das ist gefühlt immer auch so, irgendeiner von den beiden großen Frontiers released ein neues Model. Dann kommt der andere zwei Tage später und release was ultra krasseres. Google hat jetzt ziemlich lange Pause gemacht, hat gesagt, wir müssen einmal hier nochmal rangehen. Aber sie wollen jetzt mit Gemini 4, wollen sie auch nochmal attackieren. Bin mal gespannt, wo es ist.

Carlo Matic: Aber das ist ja genau das Ding von vorhin, So, der eine bringt was raus, dann ist Marktdruck, dann musst du auch wieder was rausbringen. Haben wir's getestet? Nee, ist egal, muss trotzdem raus. So und...

Sebastian Deutsch: Ja.

manuel: Also ich habe nur Rumors, wahrscheinlich alles totaler Quatsch, dass Google eigentlich einfach jetzt auch einen Schritt quasi überspringt und schon so selbst optimierende Systeme hat oder testet oder wie auch immer und quasi sagt, lass die anderen mal machen, wir gehen direkt auf das Modell, was in zwei Jahren relevant ist. Ob ja, nein, who knows. Nach wie vor ist für mich Google die Company, die am besten prädestiniert ist von allen, in diesem Game, was maximal von Daten abhängig ist, die wissen halt auch so viel über die Nutzer, die sollten auf jeden Fall auf den vorderen Plätzen sein, sagen wir so.

Sebastian Deutsch: Ich habe es

manuel: Ja, willst du kurz noch einen Satz dazu sagen?

Carlo Matic: Go for it!

Sebastian Deutsch: Red erst mal zu Ende, dann sag ich, warum ich das nicht so sehe, aber mach mich mal.

manuel: Nee, sag mal. Ich wollte gerade zum anderen großen Player, der gerade noch was an uns hat.

Sebastian Deutsch: Gut. 90 % meiner Alphabubble, also erst mal gerade, die ich rede jetzt nur über Code, aber 90 % der Leute, Agentic Engineering und Agentic Coding machen, haben einen Dual-LLM-Workflow. Das heißt, die entwickeln mit einem LLM, das andere LLM guckt drüber. Das heißt, dass Entropic und OpenAI verfügen beide über die gleichen Daten. So gut wie. Weil die sich beide am Ende gegenseitig das nochmal zeigen. Ich kenne echt wenige Leute, die das auch noch Google zeigen. Microsoft weiß davon was, weil die halt, wenn du alles bei GitHub lernst, dann lernst du auch bei Microsoft. Aber Google sieht das nicht. Und ich glaube, deswegen sind die auch so weit hinten, weil die diese Learnings nicht haben, wie sich die Modelle gegenseitig verbessern, wo dann auch mal ein Human in the Loop kommt und sagt, der Code ist noch nicht gut und so. Und da ist gerade richtig Dampf. Ich glaube, da generieren die gerade unfassbar Daten und unfassbar Spärspitzenqualität, die Google leider einfach fehlt. Da, wo Google richtig die Nase vorn hat, ist Video. Video-World-Model und Real-Life-Search und wie sich Real-Life-Search

manuel: Hm.

Sebastian Deutsch: an Satisfaction auswirkt. Deswegen muss ich auch sagen, hat OpenAI auch diesen Consumer-Point verloren. Google Search reicht einfach für mich, 90 % der Fälle, 99 vielleicht sogar komplett aus.

manuel: Ist, haben wir letztes Mal Metamuse besprochen? Das weiß ich gar nicht mehr.

Carlo Matic: Nee, habe ich aber noch nicht auf die Liste gebracht. Ist mega krass.

manuel: Das ist nämlich die zweite Company. Die Frage ist, ist Sack jetzt back oder nicht? Metamuse, kurz mal erklärt, im Prinzip der persönliche Assistent. So bisschen OpenClaw oder Grogbot für den normalen Nutzer, also für unsere Eltern.

Sebastian Deutsch: für die Bärter.

manuel: Genau, Also Distribution ist alles. Und das ist schon sehr, spannend. da ist ein echter Case, dass das funktionieren kann. Ja.

Carlo Matic: Lass mal noch bisschen mehr ausführen für alle, die sich nicht damit beschäftigt haben. Also erstens, Muse ist ein echter Agent. Du sagst nicht nur, wie wird das Wetter, sondern du sagst halt wirklich, buch mir eine günstige Reise in Berlin im Oktober. Muse plant, recherchiert und bucht das wirklich mit deiner Freigabe bei sensiblen Aktionen. Zweitens, die Technik dahinter ist ziemlich einzigartig, denn das läuft in so einer eigenen, abgeschimpften, virtuellen Maschine. Art Private Cloud. Passwörter, Zugangsdaten bleiben in deinem Tresor. was wir von Apple erwartet haben. war Facebook jetzt doch ein bisschen schneller. Und jede Aktion wird dann noch mal von so einer Sicherheitskomponente namens Sentinel

Sebastian Deutsch: Tolli!

Carlo Matic: geprüft. Und drittens, Muse, das ist die Distributionssache, ist wirklich tief im Alltag integriert, weil du kannst das halt in WhatsApp machen, du kannst E-Mail, Kalender, Smart Home, Zahlung, alles nehmen. Das ist Link by Stripe natürlich integriert. Mit Käuferschutz auch noch, wenn dann doch mal irgendwie die KI vielleicht scheiße baut. Und das Kostenmodell ist total offen. Basis ist kostenlos, Premium ab 20 Dollar. Gibt's nur in USA bisher, aber das ist schon ein guter Move von dem Markt gewesen, würde ich sagen.

Sebastian Deutsch: Sie haben auch so eine Hardware jetzt auch announced, die haben sie aber noch nicht gezeigt, die an den Schlüsselbund dran passt, die einen ganz kleinen Touchscreen hat, mit du irgendwas machen kannst, sprechen kannst.

Carlo Matic: Ich hab nur die Glas ausgesehen, die VR-Glas. Da können wir gleich nochmal kurz drüber sprechen. Aber der Schlüsselbund ist dann das Ding, was Johnny Ive eigentlich hätte für Apple machen sollen. Äh, für OpenAI machen sollen.

Sebastian Deutsch: Ja, also

manuel: Also.

Sebastian Deutsch: ich kann es nicht sagen, wie ich das finde, weil halt bisher gibt es ja in WhatsApp schon super lange irgendwie diesen LLM-Button, womit du irgendwas machen kannst und wenn ich den gedrückt habe, dann wird nicht immer nur in der Hölle gelandet. Keine Ahnung. Wenn das Produkt gut ist, ist das Produkt gut, dann ist das auch geil. Wenn es so scheiße ist, wie es bisher alles umgesetzt ist, würde ich ihm jetzt nicht so viel.

Carlo Matic: Okay.

manuel: Ich glaube, das ist natürlich die Aussage, man bei den Produkten generell machen kann. Ich würde sagen, ich würde es Meta am ehesten zutrauen, signifikant Market Share sich da zu holen. Warum? Weil sie haben erstmal eine ganze Reihe Informationen. Haben sie schon. Das ist wichtig. Wir haben alle mal mit OpenClaw, Hermes rumgespielt, nutzen das in irgendwelchen Kontexten noch, aber wir sind auch Nerds. Deswegen heißt es auch die Nerdshow. Und das ist für andere total egal. Die wollen einfach nur sagen, hey, hier, schau auf Amazon nach, ich möchte das und das kaufen, gib mir die drei besten Sachen. Das Ding soll shoppen können, das Ding soll Sachen beantworten können, das Ding soll Reisen buchen können und so weiter. Ob es das jetzt schon kann oder nicht, ist letztendlich... Es ja nicht egal. Es wird es bald können. Wir wissen alle, was ein Hermes zum Beispiel kann. Die Dinger, sind halt total mächtig. Und das... Ich würde sogar glauben, dass die Konsumenten, von Open Cloud und Hermes noch überhaupt nichts gehört haben, dass sie genug Geduld haben, einfach zu sagen, ich kann das nachher, weil ich hab sowieso meinen Meter, hab hier meinen Instagram-Account und so weiter. Und dann kann ich das jetzt einfach darüber machen, weil es... weil es bequem ist und Bequemlichkeit gewinnt. Und dann muss es nicht

Carlo Matic: Ja.

manuel: den letzten Use Case schaffen, dann muss es die Haupt Use Cases in einer guten Basis schaffen. Und das ist schon...

Carlo Matic: glaube, ist schon gut, wenn du dir allein den Börsenkurs anguckst. Die im letzten Monat einfach mal 40 % hochgeschossen, Meter. Und

manuel: Wow.

Carlo Matic: Muse ist da ein Riesenteil, absolutes All-Time-High gerade. Expectations, was du darüber alles machst. Also in USA kommt es anscheinend richtig gut an. Ich kann es verstehen, weil Distribution ist alles, WhatsApp ist einfach bei jedem ständig an und dran. Ich bin bei dir, wenn das so läuft wie dieses AI Ding, was da jetzt vorher drin war, keine Chance, aber das scheint sie irgendwie in den Krieg zu haben. Wir werden es sehen.

manuel: Also ich möchte halt nicht in der Welt sein, ich möchte halt auch nicht da Werbefläche sein und die Werbung irgendwie sehen. Da ich halt irgendwie kein großes Interesse dran. Aber ja, es wird die Massen ansprechen, es wird die Massen abholen. Spannend ist auch die Frage, was das nachher mit der ganzen quasi, also das kann zum ersten Mal jetzt wirklich das sein, dass man hin zu ich habe meine persönlichen Agenten hat. Die persönlichen Agenten treffen ja nachher zum Beispiel auch Kaufentscheidungen, Buchungsentscheidungen und so weiter und so fort. Also das sind die, die in meinem Interesse handeln wollen. Und da gibt es schon eine Art Zielkonflikt, ist es vielleicht nicht, aber so ein Amazon möchte halt nicht im Interesse der Nutzer im Zweifel handeln, sondern im eigenen Interesse. Das ist schon sehr, spannend, was dann auch da an Sachen passieren kann und wie das sich ausnivelliert und so. ich extrem spannend. Das Ding wird jetzt Mainstream. Also 2027 würde ich mal programmieren, das Jahr der digitalen persönlichen Assistenten im Mainstream.

Sebastian Deutsch: Ja, glaube

Carlo Matic: jeden Fall.

Sebastian Deutsch: ich auch. Also sehen wir auch bei uns bei Wendes, dass so der Workflow, also wir hatten ja, wir haben ja eine UI, wir haben noch gute Webapp und so, aber der Workflow, jetzt mir alle Leute, den mir Leute zeigen, den ich Leute zeigen und alle sagen, ja so, dass wenn ich zum auf eine Konferenz gehe, mache ich einfach eine Konversation mit ChatGPT auf und wenn ich dann jemanden treffe, dann mache ich einfach ein Foto von dem Batch und dann sage ich hier, ja den, der ist dafür relevant, der ist dafür relevant, den muss ich mit dem connecten, dem mache ich mal eine Wendes Demo, blablabla. Der speichert das dann am Ende, der speichert das einfach in das, das mit mtp connected speichert einfach in vendis weg. Ja und am Ende des Tages bewege ich mich dann nur noch in chatgpt oder Claude oder halt dem mtp

manuel: Genau.

Sebastian Deutsch: tool deiner Wahl. Und ich glaube, dass das die neuen Browser Fenster werden.

Carlo Matic: Das ist ja auch der Weg, Zuckerberg einschlägt. Die haben jetzt diese Muse Connectors rausgebracht und wenn ich es richtig verstehe, kannst du darüber dann einfach dein Business anklemmen.

Sebastian Deutsch: Genau.

manuel: Das ist aber für Firmen wie Amazon ein richtiger Mist eigentlich. Weil die die Kunden eben auch ownen

Sebastian Deutsch: kann dann keine Werbung mehr verkaufen.

manuel: wollen. Und genau das was ich jetzt gerade meinte. Also würde man den Amazon Assistenten wirklich vertrauen, die besten Entscheidungen für mich zu treffen oder die besten Entscheidungen die Marge zu optimieren. Also das ist sehr, spannend.

Sebastian Deutsch: Ja und ich glaube halt ganz viel von Amazons Power kommt ja aus der Convenience. Du weißt dann irgendwie, hast deine gerechnete Zahldaten, dein Adress ist da, hinterlegt und so weiter, sofort deine Kreditkarte.

manuel: Mmh.

Sebastian Deutsch: Aber wenn du halt in den Magenten hinterlegt hast, dann kann es auch egal sein, wo es passiert. Das ist dann egal, wo es stattfindet.

Carlo Matic: Okay, lassen wir einen Blick auf die Uhr. Was haben wir noch drin, was wir dringend noch dropen müssen?

Sebastian Deutsch: Zwei Innovationen aus der Wissenschaft würde ich gerne noch wenigstens erwähnen. Das ist einmal Cadence. Das ist eine neue Architektur, die anders funktioniert als LLMs, wie der Attention-Mechanismus funktioniert, mit dem Vorteil, dass ich anschließend eigentlich ongoing Wissen rein spülen kann. Und das Es gibt immer diese Trainierpunkte, wo man sagt, jetzt ist es trainiert und jetzt stelle ich es irgendwie live und dann kann darauf Inferenz betrieben werden, sondern das verändert sich die ganze Zeit eigentlich weiter. Und es ist von der Biologie her viel stärker an echten Gehirnzellen dran, wie die funktionieren, vor allen Dingen auch wie die wissen, deprecate. Das ist ja das Spannende, dass du Sachen dann auch wegwerfen kannst und aufräumen kannst. Genauso wie es für LLMs auch eine Erweiterung gibt, da gibt es ein Paper zu, in fillet LLM-Parameters. dass LLMs so erweitert werden, dass genau das gleiche passieren kann, aber auf der klassischen Transformer-Architektur. Also ich denke mal, dass das auch jetzt demnächst in die Modelle einfließen wird, auch mit dem gleichen Ziel. Wie kriege ich eigentlich Echtzeitdaten in LLMs rein, dass ich nicht mehr über so einen Retrieval Augmented Generation Ansatz gehen muss und das irgendwie so... Ne, das typische Hey Chat GPT beantwortet mir die Frage. Ja, Moment, ich jetzt mal Website machen. Mit 30 Set-Websiten durchgelesen. Jetzt antworte ich dir, sondern das... Einfach vielleicht für News oder für bestimmte andere Dinge, dass Wissen einfach präsent ist.

Carlo Matic: sehr geil. Guck ich mir an. Gut Leute, ich glaube da haben wir doch wieder eine Menge Update zusammen bekommen. Wie immer denkt dran, liked, kommentiert, nehmt Kontakt auf. Übrigens unser lieber Nerdydjens, nochmal Shoutout raus, war auf dem OM Club und hat uns nicht gefunden, weil er nicht wusste wie wir aussehen, weil er uns ja immer nachts im Auto hört. Jetzt hab ich ihm noch mal gesagt, er soll mal die YouTube-Folge angucken und prompt ist das die erste Folge, wo Sebastian seine Kamera ausmacht.

Sebastian Deutsch: Ja, aber er ist am Ende. Also edit uns gerne auf LinkedIn, schreibt uns da Nachrichten. Dies, das, pff, pff, wir finden uns alle. Ich hoffe, werden mehr Zuhörer. Es stetig mehr.

Carlo Matic: Bis so. Macht Spaß. Gut, Leute, habt ein schönes Wochenende.

manuel: Schönes Wochenende. Ciao,