Folge 16: KI vom Start bis in die Zukunft

00:00:00: Hi, herzlich willkommen zurück bei einer neuen Folge von Klaut und Deutlich.

00:00:03: Und dieses Mal geht es wieder um das Thema KI!

00:00:06: Ja ich weiß, es ist oft ein Thema aber es ist ein akutes Thema und es eigentlich quasi eine Never-ending Story.

00:00:12: Deswegen haben wir uns heute auch für diese Folge einen neuen Gast dazu geholt der sich gleich nach dem Intro vorstellt.

00:00:18: also viel Spaß mit der neuen Folge.

00:00:21: nach dem intro Hallo und herzlich willkommen zu Cloud und Deutlich, eurem Net-Planz-Podcast rund um die IT Welt.

00:00:27: Mein Name ist Nicole Wiske und ich bin der Host dieses Podcasts und natürlich freue mich, dass du wieder dabei bist!

00:00:33: In unseren Folgen tauchen wir tief in die IT-Welt ein und bringen dir spannende Gespräche, interessante Gäste und wertvolle Einblicke zur aktuellen Themen mit.

00:00:42: Wenn dir der Podcast also gefällt lasst doch gerne sein Abo da.

00:00:44: – und jetzt viel Spaß mit der neuen Folge.

00:00:49: Natürlich haben wir wieder einen neuen Gast dabei.

00:00:51: Ich hab ja schon gesagt, ein KI-Experte ist heute auch mit vor Ort.

00:00:55: und vielleicht für die eine oder andere, die sich jetzt fragen, warum gibt's dieses mal kein Video?

00:00:59: Wir sitzen aktuell bei der E-Pie in Heilbronn.

00:01:02: Das ist ein Riesenzentrum für

00:01:05: K.I.,

00:01:06: und genau deswegen haben wir uns heute getroffen, weil wir morgen auch zusammen auf einer Veranstaltung sind, wo es natürlich auch um das Thema A.I.-K.I.

00:01:13: geht!

00:01:14: Wer hätte's gedacht?

00:01:15: Und genau lieber Gäste, stelle dich gerne mal vor was wir heute hier machen und warum du auch heute mit dabei bist und woher du überhaupt kommst.

00:01:24: Ja herzlichen Dank Danke für die Einladung Nicole.

00:01:27: Ja, mein Name ist Stefan Lanz.

00:01:29: ich bin bei der Lenovo Senior Services & Solutions Executive seltsamer Name.

00:01:37: am Ende des Tages muss man sagen Ich bin der AI-Experte in in Deutschland, Österreich oder für Deutschland und Österreich-Schweiz.

00:01:46: Wenn es darum geht mit unseren Kunden zusammen die AI Use Cases zu definieren uns anzugucken welchen Aeroi können wir erzielen?

00:01:53: Und auch bei der Auswahl der Lösungen zu helfen, die dann zur Implementierung führen

00:01:58: Genau!

00:01:58: Und gleichzeitig bist du ja auch schön oft Speaker.

00:02:02: Kommst also gut mal rum.

00:02:04: Das stimmt,

00:02:04: das stimmt.

00:02:05: Und das wird niemals langweilig.

00:02:06: Und genau deswegen freue ich mich umso mehr.

00:02:08: Wir haben ja schon ein bisschen gesprochen über KI und da haben wir schon gemerkt eigentlich Wir hätten zwölf Stunden Zeit, jetzt gleich zu reden.

00:02:15: Ob wir das schaffen?

00:02:17: Ich glaube, wir könnten zwölfe Stunden durchsprechen!

00:02:19: Wir können die Zwölfstunden vollmachen wahrscheinlich und fachsimplen und uns über alles Mögliche unterhalten.

00:02:24: aber es soll ja auch interessant und spannend sein für alle anderen und...

00:02:28: Genau!

00:02:28: ...wir wollen ein bisschen Wissen in die Welt tragen.

00:02:31: Genau deswegen fangen wir einfach mal genau beim Start an Denn du bist ja KI-Experte.

00:02:37: Deswegen kannst du super gut erklären Wenn wir mit KI sprechen, kommt immer dieses Fachgesimpel von wegen ... KI-Sprachmodell.

00:02:46: Wo wird das gehostet?

00:02:48: Open AI bla bla bla.

00:02:49: Aber was ist denn überhaupt jetzt ein Sprachmodel und was hat das mit KI zu tun?

00:02:54: Weil wenn ich als User hingehe, Sprachmutter heißt für mich, das Ding spricht mit mir.

00:02:58: Tut's aber in den meisten Fällen eben nicht!

00:03:01: Was ist ein Sprachtmodell und was können wir uns da untervorstellen?

00:03:05: Ja, das ist ein spannender Ansatz.

00:03:06: Also generell gibt es das EI-Modell.

00:03:09: Das EI Modell ist im Wesentlichen eigentlich bloß ein mathematischer Algorithmus und dieser mathematische Algorithmos der da entwickelt wurde, wurde eben speziell darauf trainiert bzw ausgerichtet in Form eines sogenannten Transformermodells was in der Lage ist Spracheingaben sei es nun Textuell oder auch Überworte zu segmentieren, zu plausibilisieren und umzuwandeln.

00:03:38: Das heißt Inhalte und Kontexte zu verstehen, zu interpretieren und auch im entsprechenden Kontext wieder Antworten geben zu können.

00:03:49: Das Modell an sich wird entwickelt oder das Transformermodell an Sich ist schon zehn Jahre alt also die Idee der Transformer ist schon Zehn Jahre alt.

00:03:59: Das Problem war eher dass die Technologie zum damaligen Zeitpunkt noch nicht in der Lage war, tatsächlich diese großen Sprachmodelle wie wir sie jetzt heute kennen mit JetGPT und Co.

00:04:10: tatsächlich zu betreiben.

00:04:12: Das heißt die Hardware war einfach gar nicht an der Lage das zu tun.

00:04:14: Die Idee ist schon älter aber so richtig im Fahrt gekommen ist es ja eigentlich die letzten drei vier fünf Jahre.

00:04:21: Und wie können wir uns jetzt vorstellen?

00:04:24: Das Ding ist ja jetzt schlau, haben wir jetzt gelernt.

00:04:26: Aber woher kommt der überhaupt an das Wissen?

00:04:29: Also was musst du denn sprachen... also es wird ja irgendwie trainiert aber wie passiert das so im Hintergrund?

00:04:35: Also generell hast du erstmal den Algorithmus und der Algorithmos wird dann trainiert auf zwei Hauptthemenblöcke.

00:04:43: Das eine ist Ethik-und Verhalten

00:04:46: d.h.,

00:04:47: Welche Guardrails hat er?

00:04:48: Er darf niemand diskriminieren.

00:04:50: Er soll sich so und so verhalten, er darf niemandem schaden... Responsible

00:04:53: AI?

00:04:54: Responsible

00:04:55: A.I.,

00:04:55: das heißt du gibst ihm erst mal Ethik mit.

00:04:59: Wie sind wir denn zueinander?

00:05:02: Hoffentlich nicht!

00:05:03: Das ist der richtige Ansatz genau.

00:05:05: Sonst am anderen wird er dann auf einen riesigen Datensatz trainiert die großen Sprachmodelle.

00:05:10: Es gibt nicht nur Sprachmodelle aber da gucken wir später nochmal rein Und die werden jetzt trainiert auf Allgemeinwissen.

00:05:16: Ganz, ganz viel Input wird da reingehauen.

00:05:18: Bei GPT-III war es meines Wissens nach... oder bei GPT IV waren's glaube ich etwa hundert und zwanzig Millionen was das Training des Modells gekostet hat.

00:05:29: Bei GPD V waren schon über eine halbe Milliarde.

00:05:33: Crazy!

00:05:33: Was das Training gekostete.

00:05:35: So jetzt hast du einen Top Ausgebildeten sagen mal College oder Hochschulabsolvenzen Universitätsabsolvenz.

00:05:45: Der hat ein wahnsinnig breites Wissen in allen möglichen Bereichen, weil er auf unglaublich vielen Daten trainiert wird.

00:05:51: und es ist wie beim Menschen um je mehr Daten ich und Erfahrung habe die ich mir auch merken kann in meinem Kopf desto mehr wissen habe ich.

00:06:02: Und genau so funktioniert das auch.

00:06:03: und dass was dabei rauskommt sind sogenannte pre-trained ein pre-trained Transformer Modell, also ein vortrainiertes Modell oder man nennt es auch Foundation Model.

00:06:16: und dieses Foundation Model das kommt jetzt in Benutzung.

00:06:22: Das heißt Menschen interagieren mit diesem Modell.

00:06:25: Das nennt sich dann nicht mehr Training sondern das ist jetzt das Inferencing.

00:06:30: Das heisst die Benutzungen hat noch meine eigene Dynamik.

00:06:34: Ich als User meld mich jetzt bei so einem Modell an und dann lernt der auch von meinem Verhalten, meiner Ethik, von der Art und Weise wie ich die Antwort haben möchte.

00:06:43: Je mehr ich mit diesem Modell interagiere, desto mehr wird es sich auf mich einstellen allerdings auch zu dem Preis.

00:06:50: das ist die Daten die ich ihm gebe natürlich wiederum verwendet um sich selbst zu verbessern und Wissen anzuhäufen und anzureichen

00:07:00: je nachdem welches Sprachmodell man verwendete.

00:07:02: dazu gesagt

00:07:04: Das ist richtig, je nachdem welcher Sprachmodell man verwendet und auf der anderen Seite eben auch wie verwende ich dieses Modell.

00:07:10: Also verwende es als Public-Mutter.

00:07:14: Public bedeutet zugänglich für jeden.

00:07:16: aber wenn ich jetzt ein kostenloses Chat GPT abonutze also ohne dass sich was dafür bezahlt dann bezahle ich faktisch mit den Daten die ich reingebe.

00:07:25: Das ist quasi wie Cookies, gell?

00:07:27: Ist wie Cookys.

00:07:28: Genau!

00:07:28: Nur personalisiert und richtig personalisiert weil ja ein User dahinter steht.

00:07:33: Also ich mein die Rechenleistung und die Leistungen von ChatGbD kostet Geld und ich bezahle sie in dem Fall einfach mit meinen Informationen.

00:07:41: Als User denkt man sich eigentlich gar nicht mal so.

00:07:44: was steckt dahinter.

00:07:45: Dieses Ja gut er kostet nix, er gibt mir gute Antworten.

00:07:49: das heißt das Ding ist toll und bringt mir meinen Zweck.

00:07:53: Also kriegt man meine Antworten.

00:07:54: Alles toll!

00:07:56: So, jetzt ist es natürlich.

00:07:57: aber halt die Sache wenn ich jetzt in Unternehmen bin.

00:08:01: das ist ja quasi auch schon Schatten.

00:08:03: Schatten-KI nicht IT teilweise sondern Schatten AI weil eben man so schwierig noch kontrollieren kann.

00:08:11: was passiert denn mit den Daten?

00:08:14: Ich bin nur mal im Unternehmen und möchte mir eine E-Mail durchschreiben

00:08:18: umschreiben

00:08:19: lassen, weil ich eine bekommen habe.

00:08:21: Anonymisiere die Daten nicht

00:08:23: und

00:08:24: benutze zum Beispiel ein Sprachmodell was halt eben das Sprach-Modell nochmal mit meinen personalisierten Daten oder gegebenenfalls auch Kundendaten irgendwie antrainiert als user wie gesagt ist cool fürs Unternehmen nächstes

00:08:38: Genau, also er ist im Wesentlichen so.

00:08:40: Das heißt wenn der jetzt zum Beispiel bei einem öffentlichen Modell muss nicht immer JetGPT sein kann auch Gemini sein oder wie auch immer.

00:08:46: Wenn du dem jetzt zum beispiel sagst pass auf mein Sohn wird den drei Tagen achtzehn Jahre alt.

00:08:51: Der heißt Thorsten Wir waren zusammen beim Skifahren Er hat sich den Fuß verdreht und wir waren auch letztes Jahr im Sommer zusammen beim Rafting.

00:09:00: Dann werden diese Daten gespeichert in dem Kontext.

00:09:04: Und wenn nach dem nächsten Inferencing läuft, beziehungsweise nach dem Trainingslauf jemand abfragt und sagt wir heißen eigentlich der Sohn vom Stefan Lenz.

00:09:12: Man hat den Geburtstag und was hat er für Hobby ist?

00:09:15: Dann wird das im Trainingslauf kann es mitverwendet werden.

00:09:19: Dessen muss man sich bei öffentlichem also bei Publikmodellen einfach bewusst sein.

00:09:25: Deswegen unterscheiden wir auch zwischen Publik-Modellen, Enterprise-Modeln und Personal-Modellen.

00:09:34: Das ist im Wesentlichen einfach dem Einsatz zweckgeschuldet und auch der Privatsphäre geschuldet, weil für ein Unternehmenseinsatz ist ein Modell was im Inferencing Daten wieder für den nächsten Trainingslauf generiert nicht sinnvoll einzusetzen.

00:09:49: Das heißt ich brauche einfach einen Foundation-Modell mit einem sehr guten allgemeinen Wissen was vortrainiert ist Und dieses foundation model betreibe ich dann in einer privaten oder Enterprise getriebenen Umgebung.

00:10:02: das heißt Die zusätzlichen Informationen über Produktstrategie, Produktmarketingprodukte, Entwicklung, Pricing, Preisvergleiche, Preismodelle und so weiter.

00:10:11: Die bleiben alle bei mir als Unternehmen.

00:10:14: die gehen auch nicht zurück ans Modell.

00:10:16: ich benutze zwar das Modell um Antworten zu generieren aber das Model ist nicht in der Lage diese Daten zu verwenden für weitere Trainings ... oder allgemein zur Verfügung stehenden Information.

00:10:30: Das ist ganz, ganz wichtig im Unternehmenskontext... ... sonst kann ich das nicht einsetzen.

00:10:34: Es wäre halt schlecht wenn der Konkurrent dann auf einmal sieht, ah!

00:10:38: Ich Google mal gerade was es ein Unternehmen macht,... ...was sind deren Lösungen?

00:10:41: Was sind deren Strategien?

00:10:42: Man bekommt eine Antwort.

00:10:45: Nicht so gut.

00:10:45: Nichts so gut ist aber auch schon passiert.

00:10:48: also weil einfach viele Mitarbeiter und auch die Public Modelle benutzen ... füttern die mit sensitiven Daten und auf einmal ist das neue ... ... Produktdatenblatt ein Vierteljahr bevor es rauskommt, bereits im Internet.

00:11:03: Weil einfach jemand das Tool benutzt hat aber nicht darüber nachgedacht hat was damit hergeht?

00:11:09: Ich

00:11:09: glaube nicht mal nach gedacht.

00:11:10: der User weiß es ja eigentlich gar nicht weil erst Mal also muss ja irgendwie dem User beigebracht werden.

00:11:16: Das ist ja mit allen Produkten so und ich glaub da ist einfach so eine riesen Lücke.

00:11:21: Klar ist das alles cool, klar bewegen wir uns gerade voll in einem innovativen Zeitalter.

00:11:27: Aber die User denken sich ja nur okay wo kann ich meine persönlichen Arbeiten verstärken benutze diese Tools aber sie wissen ja gar nicht was im Hintergrund passiert.

00:11:37: absolut.

00:11:38: Also, wenn man sich grad nicht tief in diesem Thema auskennt ... Ich würde auch hingehen und sagen hey, Chachumity ist ganz toll.

00:11:44: Am Anfang hab ich auch Chachimity benutzt oder ein Sprachmodell aber es heißt jetzt nicht keine Ahnung ob ich da ... Ich hoffe nicht dass ich anonymisierte Daten eingegeben habe.

00:11:55: Es kann aber grundsätzlich mal sein, dass ich irgendwelche personellen Informationen da rein gepackt hab von mir zum Beispiel.

00:12:02: So wie gesagt für mich als User voll fein.

00:12:05: Aber die Lücke ist da.

00:12:08: Es hat einfach niemanden dem User gesagt, hey, pass auf mit den Daten.

00:12:13: Weil wie bei ihnen Cookies, ja komm ich will nur auf die Seite, ist okay.

00:12:18: Cookies

00:12:18: sehr schön.

00:12:19: Krümelmanns erfreut sich aber das ist ja es wiederholt sich einfach.

00:12:23: und bei KI finde ich natürlich noch mal fataler.

00:12:27: Ja weil die Daten auch nicht mehr verschwinden?

00:12:29: Also was einmal im Modell eintrainiert wurde, da kann man sich keine Illusion drüber machen dass man das wieder extrahieren könnte oder ähnlich ist.

00:12:36: Ist

00:12:37: gar keine Chance da?

00:12:38: Naja!

00:12:39: Kann man sich freikaufen in Anführungszeichen.

00:12:41: Stand heute kenne ich kein Programm was das zulassen würde.

00:12:44: Okay...

00:12:45: Also theoretisch es natürlich möglich.

00:12:46: wenn ich jetzt ein neues Modell von Grund auf neu trainiere, kann ich natürlich bestimmte Daten rausnehmen aber ich kenn keinen Mechanismus der das unterstützen würde, dass ich im Nachhinein Daten die in einem Modell trainiert wurden wieder entfernen

00:13:00: kann.

00:13:01: Das wäre auf jeden Fall mal interessant!

00:13:03: Ja, das wär viel zu teuer weil du kannst ja nicht alle fahrzehn Tage vor fünfhundert Millionen GPT-Modell erinnert.

00:13:09: Ein neues Abon-Motel?

00:13:10: Let's go!

00:13:13: Also wer interessant anzudenken.

00:13:16: aber tatsächlich wird das glaube ich eher nicht passieren.

00:13:19: Deswegen Leute aufpassen.

00:13:21: wichtig richtig schaut welche Sprachmodelle ihr nutzt und welche Daten hier tatsächlich verarbeiten lassen möchtet, betrifft nicht jedes Sprachmodell aber trotzdem wichtig.

00:13:31: So und jetzt aber auch die Frage okay wir haben uns das Sprachmodell angeschaut.

00:13:36: also es wird antrainiert mit Datenbar war so.

00:13:39: wenn aber jetzt ein User hingeht und selber eine Anfrage da reinschickt was können wir uns als Prozess im Hintergrund vorstellen?

00:13:47: Was passiert?

00:13:48: dass sich wirklich ne Antwort die dediziert ist auf meine Anfrage zurückbekomme, ohne dass wir jetzt Halluzination oder sonst irgendwas mit reinnehmen.

00:13:57: Ganz simple!

00:13:59: Also das erste was passiert wenn du eine Spracheingabe machst?

00:14:06: Das Modell insgesamt wird erstmal immer mit Text arbeiten.

00:14:11: Das heißt auch wenn du mit dem Modell sprichst, wird es erst mal die Sprache in Text umwandeln den Text verarbeiten und dann auch wieder Text ausgeben, wenn du eine Sprachantwort willst.

00:14:21: Gibt es da nochmal einen Transformer dahinter der dann wie das Sprachausgabe daraus machen?

00:14:25: So, dessen muss man sich bewusst sein dass wenn man spricht mit einem Modell wird man immer mehr sogenannte Tokens verbrauchen als wenn man tippt mit einem Model weil's hat ja noch einen zusätzlichen Arbeitsschritt den es unternehmen muss.

00:14:40: Token ist praktisch der Euro oder die Währung der KI.

00:14:46: Ein Token ist, wenn man von Sprachmodellen spricht ein Fragment eines Wortes irgendwo zwischen zwei und sechs Buchstaben groß.

00:14:58: und diese Fragmente die da erzeugt werden, die werden in diesem sogenannten Transformermodell so verarbeitet dass es nachher eine sinnvolle Kombination gibt aus Input und Antwort.

00:15:13: Es gibt sogenannte Input-Token, das ist das was in deinem Prompt steht.

00:15:18: Also dein Prompt ist die Anforderung, die du an das Modell stellst.

00:15:22: Das Ziel, was Du definierst?

00:15:25: Dann verarbeitet das Model intern.

00:15:28: diese Schnipsel wandelt die um, da sind dann die verarbeitenden Tokens und das was dann rauskommt sind die Antworttokens.

00:15:38: Die sind auch unterschiedlich bepreist.

00:15:42: Das ist gar nicht mal so einfach.

00:15:44: Genau, da gilt es ein Auge aufzuhaben wie das jeweilige Modell ist.

00:15:49: Das ist ganz spannend und das ist im Wesentlichen wie so ein Transformer funktioniert also sprich so ein Sprachmodell funktioniert.

00:15:57: Das heißt du hast deinen Prompt der kommt rein dann gibt's eine interne Verarbeitung.

00:16:01: Du kannst diese interne Bearbeitungen übrigens auch nachlesen.

00:16:05: Es ist ganz interessant wenn du dir jetzt einen Modell mal lokal betreibst.

00:16:10: Wir sind Computerhersteller, wir haben auch Rechner die sowas können.

00:16:15: Auf jeden Fall ist das ganz interessant wenn du dir da mal mitliest wie dieses Transformermodell anfängt die Antwort zu überlegen also wie er verschiedene Guardrails sprich Einschränkungen oder Anleitungen wie er zur Arbeiten hat und was er zu machen hat ... mit einbezieht, um dir eine Antwort zu bauen.

00:16:36: Ist super spannend... ... wenn du so einen Modell mal beim Überlegen zuguckst.

00:16:41: Meinst du es sind so Step-by-Step quasi Schritte?

00:16:44: Wie quasi man fragt in was und der geht jetzt durch.

00:16:47: okay mein erster Schritt wäre jetzt zum Beispiel ich suche mal in dieser Datenquelle nach Infos und dann gehts weiter.

00:16:53: Ah!

00:16:53: Jetzt erstelle ich dir etwas.

00:16:55: Meinst du das?

00:16:56: Ja genau

00:16:56: Das ist schon cool.

00:16:59: Also schön ist, du kannst das mitlesen.

00:17:01: bei den Riesening Modellen generell geht es also bei allen Deep Thinking Modellen kannst du das schön mitlese und das macht auch Sinn und läuft dann unter dem Label explainable AI.

00:17:13: Also erklär mir mal wie Du denn eigentlich auf diese Antwort gekommen bist.

00:17:18: was hast Du alles mit einbezogen?

00:17:19: Wie hast Du überlegt?

00:17:20: Wie kamst Du eigentlich drauf aus der Anfrage die Antwort zu generieren?

00:17:25: Das ist sehr spannend.

00:17:26: Wäre super cool in der Schulzeit gewesen, wo man auch immer sagen muss Moment!

00:17:30: Wo hast du die Antwort eigentlich her?

00:17:33: Hast du bitte die Quellen angegeben und das macht das Sprachmodell selber.

00:17:37: So gerade bei dem Deep Reasoning habe ich jetzt eine Frage.

00:17:44: Es gibt ja aktuell super viele GBT-Modelle draußen also dass einer bearbeitet Keine Ahnung.

00:17:51: Einfache Anfragen, super schnell und das andere dauert fünfzehn Minuten.

00:17:56: bis dreißig Minuten.

00:17:57: müssen wir dann eine Antwort rausbekommen?

00:17:58: aber warum wird uns als User das überhaupt vorgeschlagen mit so was zu arbeiten?

00:18:04: Also warum brauchen jetzt auf einmal GBD?

00:18:06: damals war es ja vier Turbo Jetzt haben wir mittlerweile gessern kamen fünf Punkt drei raus Und das geht immer weiter.

00:18:15: also Warum brauchen wir so viel Auswahl?

00:18:19: Ja, das ist ein spannender Punkt.

00:18:21: Also die meisten, die mit dem Thema anfangen schießen ja erstmal mit dem größten und besten Modell auf ihre Promps bzw.

00:18:29: umgekehrt, sie schießen die Promps auf das Modell.

00:18:31: Richtig!

00:18:33: Aber man muss sich immer vorstellen, stell dir vor du baust einen Unternehmen auf und du bauchst jetzt in diesem Unternehmen eine Abteilung auf und Du hast jetzt Mitarbeiter Und du hast jetzt echt den Mitarbeiter, also Menschen die mit dir arbeiten.

00:18:50: Du hast da eben auch virtuelle Kollegen, die du dir aufbaust.

00:18:55: und diese virtuellen Kollegen, sie suchst du dir aus nach.

00:18:59: was ist die Aufgabe?

00:19:00: Welche Qualifikation braucht er und was bin ich bereit für dem zu bezahlen?

00:19:05: So wird typischerweise in Unternehmensstrukturen gedacht.

00:19:08: das macht auch Sinn weil ich beispielsweise kleine Modelle zum Beispiel Quen-Sieben B oder sowas, also ein Sieben B. Modell kann ich super gut verwenden für einfache Aufgaben wie Texte zusammenfassen, E-Mails verfassen, Sozeug... Das kann der wunderbar!

00:19:26: Das ist eine total tolle Assistenz.

00:19:28: Also für nicht so komplexere Aufgaben

00:19:31: quasi?

00:19:32: Genau!

00:19:33: Jetzt kann ich hergehen und kann sagen jetzt schnappe ich mir aber einen OSS-Zwanzig-B-Modell zum Beispiel weil ich brauche jetzt einen qualifizierten Researcher Das Webdoseuchen kann, der mir tolle Zusammenfassung machen kann.

00:19:44: Der mir vielleicht auch schon ein paar coole Slides bauen kann wenn ich die haben will, Präsentationen... Dann ist so'n zwanzig B-Modell zum Beispiel super gut.

00:19:54: Bedeutet aber auch?

00:19:55: Ein Zwanzig b-Model ist etwa zwei Komma drei Mal so teuer wie in sieben B-modellen im Betrieb und es ist etwa eins Komma sechs mal langsamer in den Antworten, was es generiert.

00:20:07: Weil es hat diese zwanzig Milliarden Parameter und die wird's immer benutzen.

00:20:12: Das ist wie das Gedächtnis, was du hast über alles, was Du gelernt hast.

00:20:16: Es heißt, es wird bei all seinen Aufgaben erst mal sein ganzes Wissen durchforsten dann die zusätzlichen Datenquellen nutzen, die ihm zur Verfügung stehen und sich dann überlegen wir darauf Antwort.

00:20:28: Das is einfach sehr viel aufwendiger und dafür auch sehr viel teurer.

00:20:33: So, und dann hast du natürlich die ganz großen Modelle wie jetzt ein GPT-Fünf Drei oder fünf zwei Pro.

00:20:38: Oder einen Gemini drei, wie auch immer sie heißen.

00:20:41: also wir wollen da keine Bärungen machen für Open AI weil es gibt auch ganz ganz ganz tolle andere Modelle

00:20:46: Ganz viele andere Modellen?

00:20:48: Ganz viele anderen Modellen.

00:20:50: ich zum Beispiel bin auch ein Riesenfan von Anthropic Cloth hervorragendes Modell und liegt mir von der Art & Weise wie es mit mir kommuniziert ... persönlich am besten.

00:21:01: Aber nichtsdestotrotz hat so ein... Da gibt es dann verschiedene Modelle, ne?

00:21:05: Du hast einen Nexus-Modell und du hast verschiedene andere Modelle.

00:21:08: Das hängt jetzt immer damit zusammen wie spezialisiert ist das was du jetzt willst.

00:21:14: Das was du dir jetzt schnappst mit so einem Flagshipmodell isst,... ...du bist jetzt knapp vor AGI also Artificial General Intelligence.

00:21:23: D.h.,

00:21:24: das Modell hat so viel Wissen in seinem Arbeitsspeicher wie der beste Experte, den es auf der Welt gibt.

00:21:33: Wir sind noch nicht bei AGI aber wir stehen auf dem Weg dorthin und die Frage ist jetzt ob du den summa cum laude Oxford Absolventen unbedingt brauchst um deine E-Mail zusammenzufassen oder ob's nicht sinnvoller wäre?

00:21:46: Du schnappst dir einen Mitarbeiter der halt gut drin ist kosteneffizienter zu sein schneller zu sein und ihr trotzdem die gleiche Qualität geben kann, ohne zwanzig Minuten zu überlegen wie er jetzt diese Zusammenfassung deiner fünf E-Mails, die heute Vormittag gekommen sind gemacht.

00:22:02: Und am Ende kann man sie nicht mehr verstehen weil es so komplex war?

00:22:05: Genau!

00:22:05: Dass wir dann nichts mehr verstehen.

00:22:09: Die Frage muss man sich immer stellen auf welches Modell schieße ich eigentlich mit welcher Aufgabe?

00:22:14: da kann man extrem viel holen.

00:22:17: Ich sage mal, tausend Anfragen auf ein Quen-Modell kosten im Schnitt zwischen hundert, dreißig und hundertfünfzig Euro.

00:22:22: Wenn ich die gleichen Anfragen in einen OSS-Zwanzig B-Donner dann bin ich schon bei dreihundertfünfzig bis vierhundert Dollar für die Tausendanfragen.

00:22:31: Und wenn ich es in eine offizielle Preisliste bei JetGBT knallt, dann bin ja schon bei achthundert Fünfzig Dollar.

00:22:38: Für die gleiche Aufgabe?

00:22:40: Für die Gleiche Antwort.

00:22:41: Deswegen muss ich mir überlegen wofür es letztlich war.

00:22:44: sein Genau, aber trotzdem jetzt so.

00:22:46: ich als Ändernwender wüsste trotzdem nicht.

00:22:49: Ich würde tatsächlich dann auch den Weg gehen und sagen ... Gut, jetzt ist GBT-Fünf-Punktrei oder so draußen?

00:22:56: Das ist jetzt das schnellste, beste, so heiß es ja immer, ne?

00:22:59: Und kann mir super viele krasse Sachen machen!

00:23:02: So, einfach wenn ich das, und bin ganz enttäuscht, dass, wenn ich eine Anfrage reingeschickt habe von wegen schreibt mir mal eine E-Mail ... der in Anführungszeichen zu blöd ist, mir das zu beantworten.

00:23:13: Weil er fünfzehntausend Rückfragen hat... ... dann kann ich auch die E-Mail gerade selber schreiben!

00:23:17: Also und ich glaube auch für die Einternwender es ist ein bisschen schwierig genau das einschätzen zu können.

00:23:24: Welches GBT Modell brauche ich denn gerade für meine Anfrage?

00:23:28: Das was du gerade erklärt hast.

00:23:30: Ich persönlich finde das auch schwer.

00:23:33: Ist

00:23:34: es?

00:23:34: Deswegen geht man da ein bisschen anderen Weg.

00:23:37: Also wir haben es jetzt zum Beispiel bei der Lenovo Intern so, dass wir sogenannte Multi Agents oder Master Agents haben.

00:23:45: Und diese Master Agence das ist praktisch ein Chat-Interface, ein kluges Chat Interface und das hat dann Experten dahinter also wirklich speziell trainierte Sprachmodelle die sich auf spezielle Aufgaben spezialisiert haben wie z.B.

00:24:02: bei uns die Optimierung des Supply Chain und die Überwachung der Supply Chain oder eben auch ein Legal Agent, der einfach sich darauf spezialisiert hat, Gesetzes- und Vertragstexte zu prüfen nach Konformität usw.

00:24:17: und freizugeben.

00:24:18: Und da gibt es tausend verschiedene Geschichten.

00:24:21: aber dieser Master Agent, den er dann darüber sitzt, ist in der Lage, den richtigen Agent sich zu greifen mit dem richtigen Modell dahinter und kosteneffizient das Ganze zu machen.

00:24:34: Wir haben dann eine Software entwickelt, die nennt sich XIQ Agent Management Platform.

00:24:41: Kompliziertes Zeug, um es ja weltweit laufen!

00:24:45: Das ist im Wesentlichen nichts anderes wie eine Administrations-Plattform für Rapid Deployment von Modell.

00:24:50: Da kannst du innerhalb von sieben Minuten dir deinen eigenen Agent entwärfen mit einem Modell, was du dir selber raussuchst.

00:25:00: Was du danach auch wieder ändern kannst und du kannst aber auch sogenannte Rack-Datentöpfe befüllen von Usern.

00:25:08: Ganz

00:25:08: kurz!

00:25:08: Was ist ein Rack?

00:25:09: Ein Rack is so genannte Retrieval Augmented Generator.

00:25:13: Das ist im Wesentlichen.

00:25:15: Stellt ihr das wieder... Komisches Zeug.

00:25:20: Stell dir vor, Du hast einen Bibliothek.

00:25:24: Und dieser Bibliotek der sitzt jetzt den ganzen Tag schön in seine Bibliothek.

00:25:29: und wenn du jetzt kommst als Sprachmodell und hast eine Frage, dann gehst du zu diesem Bibliotekar und sagst zu ihm pass auf.

00:25:36: Hast du bei dir in der Bibliothik besondere Lektüren bzw.

00:25:40: besondere Inhalte zur Verfügung die diese Anfrage verbessern könnten oder zusätzliche Informationen sind?

00:25:47: Und da geht der Bibliotekar hin holt sich dieser Bücher aus seinem Schränkchen raus, gibts dir.

00:25:53: Du liest dir die Inhalte durch.

00:25:55: Gibst du Bücher wieder zurück und gehen zurück in den Schrank?

00:25:58: Der große Vorteil bei Rags ist dass die Daten sehr sauber verwaltbar sind.

00:26:05: D.h.,

00:26:05: da kann Dokumente rein, Datenbanken PDFs, PPTs alles mögliche Zeug Und die Daten bleiben komplett bei dir im Unternehmen oder eben wenn wir über Personal-Ei sprechen auf deinem Rechner.

00:26:18: Das Modell berücksichtigt zwar die Inhalte bei der Antwort, hat aber keine Verwertung im Training des Modells.

00:26:28: Das ist ganz gut wenn sich zum Beispiel Informationen häufig ändern.

00:26:32: Bedienungsanleitungen, Prozessbeschreibungen – wir kennen das alle aus der Firma und

00:26:36: so weiter.

00:26:37: Updates!

00:26:39: Die Standard-Dinge?

00:26:40: Reisekostenrichtel.

00:26:41: Endet sich jedes Jahr dreimal Und was ist jetzt die aktuellste Version?

00:26:47: Deswegen macht das so etwas bei Rags wirklich, also Rags machen dort dann wirklich Sinn.

00:26:53: Weil wenn sich Informationen oft ändern und ich muss alte Informationen rausnehmen neue Bereitstellen dürfen sie ja nicht überschneiden außer ich versioniere Sie.

00:27:02: Dann kann ich natürlich sagen Was hatten Gägolten für die Reisekostenrichtlinie bis November letzten Jahres und was ab Dezember war dann aktuelle usw.

00:27:11: Das heißt ich kann auch historisch das Ganze haben.

00:27:14: Aber Fakt ist, es ist extrem leicht zu administrieren.

00:27:18: Die Daten können gut in Container verpackt werden und auch ein End-User kann das extrem gut verwalten diese Bibliothek zu bestücken.

00:27:27: Sehr gut!

00:27:28: Vielleicht auch gerade nochmal für die Zuhörerinnen mal abgeholt wo wir uns gerade befinden?

00:27:34: Also wir haben uns gerade eben mal generell so KI angehört also wie wenn wir einfache Dinge fragen einfach Antworten zurück bekommen über allgemeine Themen Egal, über irgendwas.

00:27:46: So jetzt gehen wir tatsächlich aber hin und schauen uns die KI noch mal ein Stück weiter an Und es ist quasi eigentlich schon vergleichbar wie... Es ist eine andere Art von KI.

00:27:55: was man dadurch lebt Ist zwar auch immer noch das Macht-was für uns Das beantwortet uns etwas Aber schon in unserem Kontext Was wir uns wünschen mit unseren Daten Und das sind diese Wenn wir über Agents sprechen genau die.

00:28:10: Ich find's einfach so faszinierend.

00:28:12: Wir hatten ja auch schon mal drüber gesprochen, was jetzt auch ihr zum Beispiel bei der Lenovo entwickelt habt wenn ihr über diese Agents sprecht.

00:28:19: Was es dafür Lösungen gibt und da würd ich ganz kurz sagen weil das wirklich super überspannt war, was du mir vorgestellt hast kannst du das auch einfach mal teilen also was man aktuell mit der KI machen kann damit man wirklich ein ... Kann man das schon einen Return of Investment sagen?

00:28:35: Also ich würde... Ja, ich würde einen Stufen als ja.

00:28:40: Aber es ist schon crazy was man da alles mit spielen kann und dann merkt mal erstmal Es gibt irgendwie kein Limit und ich glaube das einzige Limit gerade sind wir weil wir noch nicht so kreativ sind was mit der Kai sonst auch möglich ist.

00:28:55: Also generell du hast also du hast völlig recht Wir müssen wenn wir von Agents sprechen vielleicht nochmal die Nomenklatur klar machen.

00:29:04: Ein Sprachmodell ist erst mal bloß ein Transformer-Modell trainiert.

00:29:09: Das kann selber noch nicht viel machen, außer ich frage ihn was?

00:29:12: Dann krieg ich eine Antwort und ich gebe ihm eine konkrete Aufgabe.

00:29:15: dann kann er mir ein bisschen etwas machen.

00:29:16: Er kann mir Slides bauen so Zeug.

00:29:19: Von einem Agent hat einen anderen Zweck.

00:29:22: Ein Agent ist eine Software die in der Lage ist autonom Daten zu recherchieren anzureichern ableitungen zutreffen und auch völlig autonom Tätigkeiten auszuführen.

00:29:39: Das geht noch mal einen ordentlichen Schritt weiter, unter den Agents liegt immer ein Sprachmodell.

00:29:45: das ist das was es gemeinsam

00:29:47: hat.

00:29:48: Genau, ein Sprachenmodell ist dahinter.

00:29:51: aber ein Agent hat eigentlich den Zweck mir Arbeit abzunehmen nicht mehr bei der Recherche zu helfen oder kleine Arbeitsschritte abzunemen sondern wir tatsächlich Aufgaben abzunehmen.

00:30:06: Und das geht einen ordentlichen Schritt weiter, also Satya Nadella der Chef von Microsoft hat gesagt er rechnet damit dass sechzig Prozent der User Interfaces über die nächsten zehn Jahre vom Software komplett verschwinden weil sie über Agents ersetzt werden.

00:30:21: Ja es ist unglaublich, gell?

00:30:24: Jetzt gerade stellt man sich nicht vor aber wenn mal ein bisschen tiefer drinnen ist Es ist einfach schon wirklich wie surreal was so'n Agent einfach machen kann.

00:30:34: Also ein spannendes Thema ist zum Beispiel, kommen wir aus dem Privatleben.

00:30:39: Ich will am Wochenende nach London.

00:30:44: Buch mir bitte einen Flug, buch mir ein Hotel, bucht mir den Rückflug.

00:30:48: Sorgt dafür dass die Zugfahrt passend dazu ist damit ich rechtzeitig zum Check-in bin und dann kann dieser Agent das tatsächlich für mich komplett durchplanen und auch buchen wenn es ihm diese Zugänge gibt.

00:31:02: Da brauche ich kein Web-Portal mehr vom Reiseveranstalter, da brauche keine Buchungsseite mehr von der Airline.

00:31:09: Da brauch ich keinen Ticket mehr von den deutschen Bahnen was ich mir über eine Website ziehe oder ähnliches sondern der Agent übernimmt das alles für mich und zwar nicht in dem was sich auf die Webseiten einloggt, sondern indem er sogenannte APIs sind.

00:31:24: Das sind Schnittstellen, die definiert sind, von denen es jetzt auch immer mehr gibt speziell Software-Bots, die dann in der Lage sind blitzschnell und extrem effizient so Abfragen zu machen Buchungen zu machen Umbuchungen zum Machen.

00:31:40: wenn jetzt mein Flugverspätung hat schreibt er mir direkt und sagt Du wirst den Anschlussflug nicht kriegen.

00:31:46: ich buchte den auch gleich um wenn das für dich okay ist.

00:31:48: Das sind Agents.

00:31:50: Ja eigene Assistenten.

00:31:52: Genau.

00:31:54: Die kleine Mithelfer wie so Minions,

00:31:57: gell?

00:31:58: Banana, das ist super.

00:32:01: Aber tatsächlich ist es ein persönlicher Assistent.

00:32:04: Und wie kann man jetzt so einschätzen?

00:32:07: Ich sag mal so ich komme jetzt zu euch und sage okay finde ich cool will ich so einen kleinen Minion haben?

00:32:15: Wie geht ihr da eigentlich fordern?

00:32:18: Also, kommt immer darauf an wo der Kunde steht.

00:32:20: Beziehungsweise auch wo der Partner steht.

00:32:22: also wir haben auch ganz viele Partner die uns mitnehmen zum Kunden wenn es einfach darum geht.

00:32:27: Wir wollen mal anfangen mit dem AI-Zeug und das gibt tausend Möglichkeiten aber wo fangen wir denn an?

00:32:33: Genau Bei uns nennt sich das Ganze dann AI Discover.

00:32:36: Es ist ein zwei Tages Workshop den wir mit dem Kunden machen um seine Use Cases zu identifizieren, zu verstehen bewerten zu können und zu sagen, hat das wirklich ein Wert was du davor hast oder ist das bloß eine Spielerei?

00:32:54: Und dann haben wir erstmal drei Vorschläge in der Priorität für den Kunden identifiziert.

00:32:59: Was sind seine Use Cases?

00:33:01: Das eine ist einer mit viel, viel wert da andere is low hanging fruit.

00:33:05: schnell umzusetzen schneller Erfolg vielleicht nicht die größte aller Werte in der was weiß ich Supply Chain Organisation aber ... vier Wochen später habe ich ihn und kann loslegen.

00:33:18: Das ist so typischerweise, wie wir das Ganze anfangen... ...und das machen ganz viele Kunden

00:33:23: in uns

00:33:24: aktuell gerade.

00:33:25: Ich finde immer genau da liegt der Erfolg durch so ein Discovery.

00:33:30: Man denkt sich jetzt okay, jetzt sagst du wow!

00:33:32: Zweitage Workshop drei Anwendungsfälle?

00:33:35: Das ist ja nix.

00:33:36: Ja aber was alles hintersteht dass wir ihn nicht über... Jetzt können wir eine E-Mail schreiben und generieren, sondern es sind wirklich hochkomplexe Prozesse die da abgebildet werden können.

00:33:47: Sei's jetzt zum Beispiel, bleiben wir mal bei der E-mail oder so oder Ticket System oder whatever!

00:33:54: Wenn wir ein Ticket anlegen oder wir kriegen eine E-Mail, normalerweise müssten wir das jetzt händisch irgendwo einflegen.

00:34:00: Wir haben aber jetzt so einen Agent gebaut oder halt eben ... wir wollen so ein Prozess nachbauen der eben wenn diese E-mail mit dem Betreff oder dieser Anfrage reinkommt muss es an diese Stelle weitergeleitet werden.

00:34:12: durch die Schnittstelle geht das bla bla bla.

00:34:14: und welche Schnittstellen haben wieder?

00:34:15: Das muss ja alles erst mal gesammelt werden Und dann muss das erst einmal umgesetzt werden.

00:34:19: also das ist schon super viel Komplexität auch dahinten dran, das muss ja auch am Ende alles funktionieren.

00:34:25: Ja und ein großer Teil von dem AI Discover ist natürlich auch erst mal eine Inspiration zu setzen also erstmal darüber zu reden was sind denn?

00:34:34: zum Beispiel bei uns gibt es die AI Library Nancy das für unsere Kunden und Partner.

00:34:39: da kann man sich angucken was machen wir denn schon alles mit AI?

00:34:43: Was davon funktioniert gut?

00:34:45: Welche Initiativen wurden mal gestartet, sind aber baden gegangen weil es nicht vernünftig umsetzbar war.

00:34:50: Also wir sind da extrem offen auch mit unseren Kunden zu sagen haben wir schon probiert hat aber nicht funktioniert weil das heißt wir teilen da richtig viel Erfahrung über die Projekte.

00:35:01: Wir machen ja weltweit projekte mit unseren kunden diesbezüglich.

00:35:05: Das ist schon ganz gut und ein großer Teil vom AI des KW ist eben auch Inspiration.

00:35:10: Was machen wir in der gleichen Branche, was machen wir vielleicht an den gleichen Use-Cases woanders?

00:35:14: Was funktioniert gut, was funktioniert nicht so gut?

00:35:17: Wo gibt es vielleicht auch Probleme mit der User-Adoption?

00:35:20: dass die Leute zwar das Tool haben aber nicht damit arbeiten mögen.

00:35:24: So etwas gibt's ja auch.

00:35:26: Das muss man sich alles angucken und da geht einfach ein bisschen Zeit drauf.

00:35:30: Definitiv!

00:35:31: Aber das, was du dann da rauskriegst ist praktisch drei Use-Cases die dann auch bewertet werden.

00:35:36: Über lohnt sich das so dich?

00:35:38: In welchem Zeitraum lohnt es sich das und eben auch ein Angebot dabei herauskommen zu sagen wie schnell ist sowas umsetzbar.

00:35:45: Darauf folgt in der Regel EI Advice der muss stattfinden oder auch nicht.

00:35:49: Da geht's eben wesentlich.

00:35:51: nur einfach bloß darum wie weit ist deine Infrastruktur?

00:35:54: hast Du überhaupt die Daten?

00:35:56: Und wenn Du sie hast wo sind die denn?

00:35:59: und wie kommt man denn an die Rande?

00:36:01: Weil Datenhygiene ist bei KI das A und O. Richtig!

00:36:06: Wenn die Daten nicht aktuell sind, nicht in einer guten Qualität sind oder nicht verfügbar sind kann die AI nichts machen.

00:36:13: Egal welche AI auch wie von Co-Pilot oder sonst irgendeiner AI sprechen jede AI arbeitet rein theoretisch gleich.

00:36:21: Ja genau absolut.

00:36:24: Und was ich ja auch immer ganz ganz... Ich merke es ja auch an den mittelständigen Unternehmen oft.

00:36:31: Es heißt, wir kriegen eine Anfrage rein.

00:36:33: Und das heißt einfach ... Ja, Geschäftsführung wünscht sich jetzt KI!

00:36:37: Wir wollen jetzt KI einführen.

00:36:39: Ich sehe erst mal nicht schlecht.

00:36:41: Das ist schön, ne?

00:36:42: Ich freu mich.

00:36:43: Neue Mitarbeiter braucht es

00:36:44: nicht.

00:36:44: Richtig so.

00:36:45: also schön ein neues Projekt.

00:36:48: was aber am Hintergrund passiert ist natürlich wir leben gerade in einem schnellen Zeitalter wo's einfach ja die anderen arbeiten mit KI, ich möchte das jetzt auch machen.

00:36:58: Ich möchte es so schnell wie möglich implementieren.

00:36:59: aber der erste in Anführungszeichen Fehler dieses Überstürzte wir wollen einfach KI einbringen nur weil andere das auch machen und anscheinend super innovativ sind.

00:37:11: Das ist ein Prozess den man da erstmal durchleben muss.

00:37:14: Es heißt nicht klar Wir können Lizenzen buchen, wir können das Sprachmodell zur Verfügung stehen Aber wenn man keine Ahnung hat wie man damit arbeitet oder eben auch ... wie die Daten verarbeitet werden oder... ...wie die Daten überhaupt da liegen müssen für das Sprachmodell.

00:37:29: Dann wird das Ganze schwierig und wir hatten ja auch vorhin schon ein bisschen darüber gesprochen, Return of Invest.

00:37:37: Na natürlich man geht ja rein KI super innovativ!

00:37:41: Aber wann ist denn der Punkt wo man wirklich sagen kann?

00:37:44: Das hat uns jetzt wieder Geld reingebracht, dass das ist ein Gewinn den wir gemacht haben durch KI.

00:37:49: Das ist nicht einfach erledigt wenn man KI einsetzt!

00:37:52: Das ist immer noch ein Prozess und es gibt natürlich auch diese Voraussetzungen die man dafür klären muss.

00:37:59: wie du schon sagtest Datenpflege gibt es das nicht schlecht.

00:38:05: kann man KI einführen?

00:38:06: Natürlich Wie läuft die KI dann?

00:38:09: Nicht so gut Logisch aber Das ist ein Prozess, der geht nicht einfach von jetzt auf gleich.

00:38:17: Und ich glaube da ist das Verständnis... Da ist das fehlende Verständniss!

00:38:22: Ja es ist alles schnell aber soll ja auch gut sein und auf Dauer gut bleiben.

00:38:26: Genau absolut also.

00:38:29: vom Vorgängsmodell her werden aus unserer Sicht den nächsten Schritten sogenannte Fast Start.

00:38:34: Fast Start bedeutet neunzig Tage und wir bauen mit dem Partner oder auch für den Endkunden direkt ein MVP.

00:38:44: Das heißt, wir nehmen einen Use Case, bauen den innerhalb von sechszig Tagen mit einer KI auf die Daten des Kunden und er hat dann im Monat Zeit sich anzugucken.

00:38:56: ist es das was ich wirklich wollte, brauche ich etwas anderes?

00:39:00: habe ich den Nutzen oder den ich nicht hab usw.

00:39:03: Das Ding hat noch keine Guardrails, das hat noch kein riesiges Security

00:39:07: usw.,

00:39:08: da geht's einfach um die Funktion.

00:39:10: Ist es funktional?

00:39:13: Richtig.

00:39:14: Bringt es mir den Nutzen, den ich will?

00:39:16: Funktioniert so wie ich's gerne hätte?

00:39:18: Das kann ich dann während dieser neunzig Tage komplett implementieren und austesten Und dann gehts in einen Scale und Manage das heißt da wird ein Projekt draus Da wird auch ein Hardware-Sizing geben und so weiter was eben alles dafür notwendig ist Um dann in eine Produktion mit diesem Use-Case zu gehen.

00:39:35: Und dieses mehrstufige Modell hat sich einfach unglaublich gut bei uns bewährt.

00:39:41: Sowohl für uns intern.

00:39:43: Daraus abgeleitet haben wir es als Offering für unsere Kunden, weil große Projekte zu starten mit einem fantastischen Use Case und keiner Erfahrung brauchten Prototypen.

00:39:57: Du musst ein Prototyp davor setzen damit du wirklich sicher sein kannst dass das den Nutzen bringt den du gerne hättest.

00:40:04: Und wie du auch schon sagst FastTrack heißt schnell ist in trotzdem neunzig Tage.

00:40:11: Ja, ja.

00:40:11: Ich mein, sechzig Tage davon brauchen wir um die Geschichte bereitzustellen und so testen?

00:40:17: Genau ich meine gar nicht... ...ich meine einfach nur dieser Begriff ob das fast ist.

00:40:21: Es ist wieder nicht eine Woche!

00:40:23: Das sind sechzehnt bis neunzig Tage wo man wirklich effektiv testen muss und tieftesten muss.

00:40:30: Absolut also auch um das in Relation zu nehmen diese Neunzig-Tage.

00:40:35: In der Regel brauchen wir die ersten dreißig überhaupt schon um die Daten zusammenzukriegen vom Kunden.

00:40:41: Ja, ich meine es ist immer verstreut und du brauchst aktuelles Wissen.

00:40:45: Das muss verifiziert sein das muss gut sein damit muss man arbeiten können aber wie gesagt das Vorgehensmodell bewährt sich.

00:40:54: So jetzt, wie nennt man das?

00:40:57: Ich reibe mir schon die Hände.

00:40:59: jetzt will ich noch ein bisschen Anwendungsfälle von dir.

00:41:02: Anwendung Fälle ja.

00:41:03: also ich möchte auf zwei generelle Anwendungen fälle mal eingehen.

00:41:12: Sprachmodelle.

00:41:14: Was macht der Großteil unserer Kunden mit den Sprach-Modellen als erstes Projekt?

00:41:20: Wir fangen nicht mit Agents an, sondern wir fangen an mit REX also Retrieval Augmented Generators.

00:41:26: das bedeutet im Wesentlichen du hast ein Sprach Modell und du hast deine Bibliothek mit deiner Information und das dient dir jetzt als Auskunftsbüro für interne Prozesse, für Dokumentationen, für Projektinhalte, für was auch immer du da alles in diesen Rags haben möchtest.

00:41:44: Das ist der erste Use Case, den die meisten Kunden mit Sprachmodellen machen weil es erstmal dazu dient aus einem Google Verhalten mehr Wert zu ziehen also festzustellen was kann die KI denn mehr als Google und warum ist sie besser und aktueller?

00:42:02: Und was kann ich damit machen?

00:42:04: Weil das geht auch immer ein Her mit Cultural Change.

00:42:08: Das heißt, ich muss auch meine Organisation erst mal bereit machen sich auf das Thema KI einzulassen und ich muss sie auch ausbilden darin.

00:42:15: Was kannst du denn da mitmachen?

00:42:17: Weil jede Anfrage kostet Geld.

00:42:21: So also muss ich mir überlegen wofür sollt ihr das Ding ein?

00:42:23: den neuen Mitarbeiter, den ich da hab Den virtuellen Mitarbeiter Und da sind diese Knowledge Assistance wirklich gut.

00:42:31: Wir haben zum Beispiel solche Knowledge Assistance im Einsatz bei großen Handelsunternehmen im Call Center für deren Filialinfrastruktur oder eben auch für deren Kunden.

00:42:47: Und es gibt einen riesen Unterschied zwischen einem klassischen Chatboard und dem AI Assist, also wir haben die Erfahrung dass etwa vierzig Prozent der Anfragen von Mitarbeitern und Endkunden direkt vom AI Rack beantwortet werden können auf den ersten Schuss.

00:43:05: Mega!

00:43:07: Das ist knallergut, weil das bringt unter dem Strich eine Kostenersparnis von etwa twenty-fünf Prozent für den Support.

00:43:14: Und da werden erst mal keine Mitarbeiter großartig abgebaut sondern da geht es hauptsächlich darum erstmal in Service zu verbessern schneller zu sein effizienter zu sein und so weiter.

00:43:22: also das funktioniert richtig gut.

00:43:24: diese Knowledge Assistance und diese AI Service Desk Ergänzungen nennen wir's so ob du das jetzt auch für deine Agents einsetzt Das ist ein anderes Thema, das macht auch für diese.

00:43:35: Weil die können Sie ja nicht alles merken was irgendwo in der Dokumentation steht?

00:43:39: Klar.

00:43:39: Das Reaktion deswegen funktioniert das gut.

00:43:43: und ganz andere Use Case den kennt man eigentlich schon ewig aus der Produktion Und zwar sind das sogenannte Computer Vision Modelle.

00:43:53: Ein Computer Vision Model funktioniert anders als ein Sprachmodell.

00:43:57: Ein computer vision model hat einen Bild und aus diesem Bild ... schnappt er sich auch wieder Tokens, also seine einzelnen kleinen Punkte... ... die er daraus macht und die verarbeitet er.

00:44:07: Aber er zieht aus diesen Bildern Informationen,... ...und diese Information, die macht er dann wiederum nutzbar.

00:44:14: Wir haben ein superspannendes Projekt zum Beispiel für die Erkennung von Straßenschäden... ...aus einem Fahrzeug heraus, aus einem fahrenden Fahrzeug raus.

00:44:25: Genau!

00:44:25: Also der Use Case ist relativ einfach, da es gibt... Behörden, die natürlich sich darum kümmern dass die Straßen schäden erfasst beurteilt und dann geplant werden nach Priorität wenn sie zu reparieren sind.

00:44:47: So und Die müssen erst mal erfasst werden.

00:44:50: das heißt da müssen Menschen unterwegs sein mit einem Auto Und müssen diese ganzen Straßen abfahren und müssen Sie angucken.

00:44:56: was für Schäden haben wir da?

00:44:57: Müssen anhalten aussteigen müssen die Tiefe von Spurellen oder Schlaglächern messen, katalogisieren und dann wird das irgendwo priorisiert.

00:45:07: Das was wir hier jetzt machen ist eine Kamera basierte, eine Dual-Lenskamera weil ich brauche zwei Augen damit ich dreidimensional sehen kann, eine Kameralösung die im Fahrzeug installiert ist wo dann bloß noch eine Person unterwegs sein muss die deutlich schneller fahren kann.

00:45:25: und die Verarbeitung passiert praktisch im laufenden Betrieb.

00:45:28: d.h.,

00:45:28: die KI erfasst Spureln, inklusive Tiefe und inklusive Profil.

00:45:34: Schlaglöcher, Risse

00:45:35: usw.,

00:45:36: trägt die auch gleich in die Datenbank ein und kann auch gleich priorisieren.

00:45:40: welche ist so dringend dass sie direkt repariert werden muss?

00:45:43: Welche hat jetzt Priorität zwei?

00:45:45: Welches hat Priorität drei?

00:45:47: Das sind Computer Vision Modell.

00:45:49: also KI ist nicht immer nur ein Chatbot.

00:45:52: Da kann man sehr viel mehr damit machen.

00:45:54: Und das sind wirklich ganz erworrende Use Cases, die auch richtig Spaß

00:45:59: Allein schon, ja also wie du es schon sagst das ist so wirklich so.

00:46:02: Das ist so KI Endlich cool und ich glaube allein schon da.

00:46:08: Also normalerweise so ein Prozess man muss erst mal rumfahren aussteigen dass alles vermessen ist ja auch unglaublich viel Zeit.

00:46:14: Wenn wir jetzt fahren kann das wird alles irgendwie schon im Hintergrund für einen gemacht.

00:46:18: Wow!

00:46:19: Ja klar und dann geht natürlich viel mehr einher.

00:46:21: Du kannst dir das vorstellen wie.

00:46:22: du hast einen Kollegen neben dir sitzen der ... tausende Augen hat in alle Richtungen.

00:46:28: Bitte mich!

00:46:29: Genau, also der kann auch an der Seite sehen... ... okay da Grünschnitt muss zurückgeschnitten werden.

00:46:35: oder ich habe jetzt einen Pannenfahrzeug an einer bestimmten Stelle,... ... oder ich hab was weiß ich ein beschädigtes Bushäuschen oder so etwas.

00:46:43: Also sowas kann natürlich damit verarbeitet werden.

00:46:46: Natürlich geht sowas nur in der Verarbeitung im Fahrzeug weil ich muss eine Anonymisierung haben Die dann vor Ort passiert, weil ich darf diesen Daten ja nicht speichern.

00:46:55: Datenschutzgesetz und so weiter.

00:46:56: Das heißt alle Nummernschilder müssen ausgeblendet werden Ich muss die Gesichterdürfen nicht kenntlich gemacht werden und ähnliches Und auch aus dem Fahrzeug heraus.

00:47:06: nach der Verarbeitung gehen nur Datensätze das heißt da gehen keine Bilder raus oder Ähnliches.

00:47:10: dass wenn ich datenschutzkonform Weil ich darf den allgemeinen Raum nicht filmen, ohne Grund.

00:47:17: Deswegen passiert die komplette Verarbeitung im Fahrzeug direkt an der Kamera oder einem Gerät direkt an den Kamera – einer von unseren Think-Ages natürlich!

00:47:26: Aber nichtsdestotrotz ist es ein toller Use Case und er ist völlig datenschutzkonformer und er bringt richtig viel mehr Qualität in das was wir tun.

00:47:39: Und das ist ja der große Vorteil von KI nicht dass er einfach bloß ein Google fürs Unternehmen ist, sondern das er mir wirklich hilft effizienter zu arbeiten.

00:47:53: Und wir haben es vorhin kurz davon gehabt von einer Aufgabe die ich in den Sprachmodell gegeben habe und hab dann gesagt coole Zusammenfassung Dankeschön!

00:48:02: Machen wir mal eine Präsentation draus und drei Sekunden später war die Präsensation fertig auch in dem Design was ich ihm vorgegeben habe.

00:48:09: Ich kanns direkt weiter verwenden spart mich einfach zwei-drei Stunden Arbeit.

00:48:15: Und das ist einfach der große Punkt, wir können uns Arbeit sparen und die Zeit einsetzen für Sachen wo man Kreativität braucht.

00:48:25: Nicht aus Erfahrung arbeitet sondern neue Ideen braucht.

00:48:28: voran marschiert weil da es der Mensch immer noch deutlichst führend im nach vorne denken und im kreativ sein und innovativ

00:48:40: sein.

00:48:42: Danke für diese ausführliche Erklärung zu den Agents.

00:48:45: Und ich fand diesen Newscase einfach auch so spannend, deswegen er musste auf jeden Fall hier rein!

00:48:50: Jetzt habt ihr aber auch noch was Cooles geplant und zwar die Kira.

00:48:54: Und zwar das ist jetzt weniger von Unternehmenssicht quasi steuert sondern eher personal KI-Assistent.

00:49:04: Was können wir uns darunter eigentlich vorstellen?

00:49:08: Also, wir haben es ja ganz vorhin davon gehabt.

00:49:09: Es gibt die Public Modelle, GPD und Code.

00:49:11: Dann gibt's die Enterprise-Einsatzgeschichten.

00:49:13: Das sind die Rags

00:49:14: usw.,

00:49:15: was wir jetzt vorhin in der ganze Zeit besprochen haben für das Unternehmen.

00:49:19: Kira hat einen anderen Ansatz.

00:49:20: Kera geht ein Schritt weiter und sagt Personal AI.

00:49:24: Personal insofern dass es auch für dich als Person ein digitalen Begleiter gibt

00:49:32: ...

00:49:35: schaut wie du arbeitest.

00:49:37: Der weiß, wie du deine Termine ganz strukturierst,... ... der weiß in welcher Hotels du gerne gehst... ... der weiss, du hast heute Abend um achtzehn Uhr einen Termin... ... in der Schule von deinem Kind.

00:49:50: Du spätestens um siebzehn Urwurde zu dir sagen,... ..."Du musst jetzt aber los", weil du fährst zwanzig Minuten dahin und bist auf dem Parkplatz bist und was weiß ich?

00:50:01: Das ist eine Personal-AI.

00:50:03: Und eine Personal AI... braucht natürlich die richtige Umgebung, wo sie funktionieren kann.

00:50:08: Da brauchst du ein bisschen Technik dafür.

00:50:10: Dafür gibt's von der Lenovo AI PCs.

00:50:15: Dafür gibts von der Motorola.

00:50:17: Die Motorola gehört ja auch zu uns.

00:50:19: Gibt es eben auch die AI befähigen Telefone bzw.

00:50:24: Mobiltelefone, die dann auf Basis von Android laufen aber mit einem speziell angepassten Modell und so weiter?

00:50:30: Und Kira ist jetzt dein persönlicher Agent dein persönlicher Begleiter, der dich Geräte übergreifen begleiten kann.

00:50:40: Mit allem was für dich so wichtig ist von Dokumenten über Termine über Reisebuchungen.

00:50:49: Der kann als Agent für dich bei Expedia was buchen.

00:50:52: Der hat Zugriff auf deine auch persönlichen Dokumente aber er ist auch nur für dich persönlich da.

00:50:59: Das heißt ein zweiter Dritter, auch wenn er einen Lenovo Gerät hat kann dann natürlich nicht drauf zugreifen.

00:51:05: Sehr gut!

00:51:07: Da wird ein ganz persönlicher ID-Code generiert der auch nicht kopierbar ist und auch mal einmal zu verwenden ist um diese Datensicherheit so gewährleisten.

00:51:15: aber du kannst dir das vorstellen egal wo du bist oder egal auf welchem Gerät du arbeitest Du wirst diesen persönlichen Helfer und Assistenten immer bei dir haben.

00:51:25: Er wird dich begleiten und er wird dir helfen deine Termine zu organisieren Protokolle zu schreiben, deine Aufgaben rechtzeitig zu lösen und du kannst ihn auch mit privaten Themen füttern weil es wird privat bleiben.

00:51:37: Von der Steuererklärung bis zur Reisebuchung ist es dein Assistent.

00:51:42: Wie kann ich mir jetzt vorstellen?

00:51:43: Weil allein schon mit dem ganzen KI-Thema.

00:51:46: wir wissen ja... Wir haben zu wenig Rechienzentren also wir brauchen die eine massive Nachfrage.

00:51:55: Wie kann ich mir das vorstellen auf so kleinen Smartphones oder wie diese ganze Anfragen bearbeitet werden?

00:52:02: Also, wie geht es davon aus?

00:52:04: Wir haben ja nicht einfach einen Tower dabei.

00:52:07: Jetzt mach mal!

00:52:08: Dann geht der an und brennt, sondern wie wird das Ganze dort verarbeitet?

00:52:13: Also die aktuelle Generation der AI-PCs hat einen weiteren Rechenkern mitimplementiert.

00:52:20: Bisher gab es eigentlich immer die CPU, also die zentrale Prozessereinheit und die GPU – das ist die gravische Prozesseeinheit.

00:52:27: Und die haben sich die Arbeiten aufgeteilt zwischen Anzeigen und Rechengeschichten.

00:52:31: Die haben auch eine etwas andere Art zu arbeiten aber das ist ja heute nicht Thema.

00:52:35: Nichtsdestotrotz wurde jetzt ein weiterer Prozessorkern mit etabliert, der nennt sich NPU Und die Neuralprozessoreinheit, die da drin ist, ist ein Prozessor-Kern der ganz speziell dafür entwickelt wurde kleine Sprachmodelle lokal betreiben zu können.

00:52:54: Nicht nur Sprachmodelle sondern KI-Modelle muss man richtig sagen.

00:52:59: Momentan geht es für die NPU noch ganz wenig Software was das wirklich benutzt.

00:53:04: aber Es wird in zwei großen Bereichen daran gearbeitet diese Software bereitzustellen Und zwar zum einen im Bereich Security.

00:53:13: Das ist einer der wichtigsten Use-Cases, weil nicht nur die guten Arbeiten mit KI und die meisten Angriffe mit MyWare und Co.

00:53:25: werden inzwischen auch von KI generiert.

00:53:28: Und dafür braucht man ein Abwehrsystem und zwar kein zentrales Abwehr System in irgendeiner Firewall nur sondern du brauchst ein Abwehresystem auf deinem Endgerät oder dein Endgeräd ist ständig irgendwo im Internet.

00:53:39: Die Konnektivität ist überall da.

00:53:41: Deswegen braucht man eine lokale Abwehr und diese lokale abwehr wird.

00:53:45: KI basiert in der NPU implementiert von all unseren wichtigen Partnern, die wir aktuell gerade sehen.

00:53:51: Das zweite ist du kannst durch diese neutrale Prozessereinheit kleine hoch effiziente Modelle Wir hatten vorhin das Beispiel mit Quen.

00:53:59: Du hast verschiedene Modelle, die du verschiedene Sachen anwenden willst Kannst du in dieser NPO betreiben lokal auf dem Gerät Weil du auch der einzige bist, von dem das Ding lernt.

00:54:09: Also inferencing nochmal ums aufzugreifen worden.

00:54:13: vorhin ist auch die user anzahl extrem klein und Der agent der da läuft kann sich auf dich konzentrieren auf dich und dein device Und er kann dann im hintergrund zwar immer noch auf größere modelle zugreifen wenn du es zulässt und möchtest Er wird dich aber immer laubnis dafür fragen dass nicht generell eingestellt.

00:54:32: Aber du hast eben ein kleines smartes model extra für dich auf deinen Geräten dabei und deine Geräte unterhalten sich dann ab und zu untereinander, um sich zu synchronisieren.

00:54:43: Aber die haben dann beide ein ID Code, um sie sich zu synchronisieren und dadurch bleibt alles was du mit dem Privat machst auch privat.

00:54:52: Sehr gut, Datenschutz ist natürlich immer ein riesengroßer Punkt.

00:54:55: Deswegen muss man das auch mal ansprechen.

00:54:57: Aber da bin ich auf jeden Fall gespannt wie die Kira sich dann macht.

00:55:01: Es hört es ja sehr spannend an und vielleicht ... Weil wir schon viel über KI gesprochen haben.

00:55:09: Was könntest du jetzt so am Ende der Folge?

00:55:11: Vielleicht in einem Satz, ich weiß es super schwer, aber challenge an dich, sagen was KI wirklich ... für uns im allgemeinen sein kann.

00:55:26: Wir sollten KI als einen Freund und Begleiter sehen, der uns im Alltag und im Berufsleben helfen kann ungeliebte Themen abzunehmen um es besser zu organisieren.

00:55:49: Uns auch mal eine Inspiration zu geben und anderen Lösungsweg zu zeigen wie erst machen würde.

00:55:54: Deswegen ist explainable AI auch so wichtig und zu dem wir ein Verhältnis aufbauen müssen, das wird nicht am ersten Tag gelingen.

00:56:04: der Zugang zur EI kommt.

00:56:05: doch benutzen von EI was wir nicht machen sollten es EI als Suchmaschine zu sehen Das kann sie auch.

00:56:15: aber wenn ich mir jetzt heute einen persönlichen Assistenten einstelle ... kann ich dem natürlich auch die Aufgabe geben, ... ... suchen wir im Internet nach denen und den Sachen.

00:56:22: Aber das ist jetzt nicht der große Use-Kiss.

00:56:24: Der große Use Kiss ist wenn ich Ihnen Sachen machen lasse,... ... die ihn mehr wert bringen... ...die mich entlasten... ...und mehr Wert bringen.

00:56:32: Mir vielleicht Inspiration bringen in der Forschung

00:56:34: usw.,

00:56:34: weil er andere Lösungswege zeigt.

00:56:36: Und das ist glaube ich die richtige Einstellung um mit KI zu starten.

00:56:42: Du bist mein Co-Worker,... ...du bist mein Kollege.... machen zusammen einfach alles ein bisschen besser.

00:56:51: Ja, mega!

00:56:53: Das war zwar mehr als Einsatz...

00:56:55: Ja das tut mir leid.

00:56:57: Aber ich glaube jetzt genauso gesagt wie du.

00:56:59: also es ist schwierig in einen Satz zu packen.

00:57:02: und hoppala da habe ich glaub ich sogar Sprunger weil die Mikrofone sind sehr sehr empfindlich hab ich gemerkt.

00:57:09: ja also ganz spannendes Thema.

00:57:13: noch sehr viele Stunden weiter mit dir drüber quatschen, auf jeden Fall.

00:57:17: Vielen lieben Dank, dass du die Zeit genommen hast.

00:57:20: Ich glaub ... wir werden jetzt in einem halben Jahr ... Wir können uns nicht überlegen, was in einem Halbjahr mit KI passiert?

00:57:27: Jede Woche kommt ein neues Update an irgendeiner neuen Stelle und es ist einfach crazy!

00:57:33: Aber ich hab richtig viel Lust auf KI.

00:57:36: Das auf jeden fall weil ich sie halt auch als innovatives Tool sehe für mich.

00:57:40: Und ich's halt auch jeden Tag benutze.

00:57:42: Wenn man den Anschluss verliert, kann man immer noch aufholen.

00:57:46: Aber wenn man so wirklich mit KI Hand in Hand arbeitet ... Man fühlt sich quasi wie ein super, super Woman, super Mann!

00:57:55: Weil man einfach mehr, wieso sagst du?

00:57:57: Monotone langweilige Dover-Aufgaben, die man vielleicht nicht jeden Tag machen möchte im Handschnips quasi erledigt hat.

00:58:06: Das ist toll.

00:58:06: Mehr Zeit für qualitativ, hohre oder qualitativ... hochwertige Aufgaben anstatt so Pillopalle Sachen.

00:58:14: Und ich glaube, das wird cool und dann noch mit den Agents gekoppelt.

00:58:18: Amazing!

00:58:19: Das wird richtig, richtig cool.

00:58:20: also die Zukunft schreit KI und äh... Ich bin auf jeden Fall sehr, sehr gespannt was uns erwartet.

00:58:28: So in dem Sinne danke vielen, vielen lieben Dank dass du dabei warst.

00:58:32: immer lieber immer wieder gerne ... über das KI-Thema.

00:58:37: Ich freue mich morgen auf unseren Vortrag, oder auf deinen Vortragen.

00:58:41: wirst du morgen auch noch im Namen der Lenovo?

00:58:44: Ja, ich werde höchstwahrscheinlich mit dem Co-Pilot sprechen!

00:58:50: Ansonsten vielen lieben Dank und danke auch fürs Verständnis für diese... Folge die mal anders war.

00:58:56: Aus einem anderen quasi Gebiet, ne?

00:58:59: Wie gesagt wir sind bei der E-Pie und ohne Video.

00:59:02: ich hoffe dieses Format hat euch trotzdem sehr gefallen und hat euch ein bisschen Einblicke gegeben was denn diese... Was die KI ist und was man nicht unterschätzen sollte wo man vielleicht anfangen sollte und nichts überstürzen.

00:59:14: Und in dem Sinne vielen Dank fürs zuhören dieses Mal!

00:59:18: Wir hören uns bei der nächsten Folge wieder.

00:59:20: Macht es gut tschau tschow.