00:00:04: Ja, einen schönen guten Tag.

00:00:05: Ganz herzlich willkommen zu einer neuen Folge unseres FZ-Podcast zur künstlichen Intelligenz.

00:00:10: Wie Sie wissen oder wie Ihr wisst sprechen wir in diesem Podcast mit unseren Gästen aus der Wirtschaft, aus Politik und Wissenschaft ganz konkret über den Einsatz von Künstlicher Intelligenze Über das was heute bereits alles

00:00:23: funktioniert

00:00:24: Visionen für morgen aber auch darüber was man mit der KI vielleicht gar nicht tun sollten.

00:00:31: Wir da sind

00:00:32: Peter Buchsmann

00:00:34: Und Holger Schmidt, wir beschäftigen uns an der TU Darmstadt am Fachgebiet Wirtschaftsinformatik und im Digitalwirtschafts Briefing der FHZ mit dem Einsatz der KI in deren Auswirkungen auf Wirtschaft und Arbeit.

00:00:44: Wir sprechen heute mit Lina Böcker eine Anwältin die auch die Sprache des Softwareentwicklers spricht.

00:00:49: sie ist Partnerin der Internationalen Wirtschaftskanzlei Osborne Clark und Fachanwältinnen für IT-Richt.

00:00:54: dort berät sie Unternehmen von Softwarefirmen über Autohersteller bis zu Medienhäusern beim Aufbau von KI-Komplexstrukturen bei KI-Verträgen, bei der Lizenzierung von Open Source Software und offenen KI-Modellen.

00:01:05: Über Open Source Recht hat sich schon im Jahr zwei Tausend Neun promoviert also lange bevor offene KI Modelle überhaupt relevant wurden.

00:01:12: Zudem schreibt sie regelmäßig in der LFZ Digitalwirtschaft über die Digitalregulierung zum Beispiel über die rechtlichen Stolpersteine beim Einsatz der künstlichen Intelligenz.

00:01:21: Lina vielen Dank dass du heute bei uns bist!

00:01:23: Hi

00:01:25: Ja Lina, starten wir vielleicht einfach mal damit wie du und deine Kollege und Kollegen im KI so im Arbeitsalltag nutzt.

00:01:33: Was sind da so typische Anwendungen?

00:01:35: Und vielleicht auch solche wo du sagst hey das verändert die Welt wirklich total.

00:01:42: Das ist eine sehr spannende Frage.

00:01:44: Die Antwort von den KI-Rechtlern auf die Frage ist immer Wir benutzen noch viel zu wenig künstliche Intelligenz während glaube ich der normale Anwalt für den Hausgebrauch sagt, ach du liebes bisschen das verstehe ich alles gar nicht.

00:01:55: Also wir benutzen tatsächlich relativ viel KI bei uns vor allem für alles was man standardisieren kann also Workflows die immer gleich sind Abläufe die immer gleichen sind Vertragsprüfungen funktioniert sehr gut und natürlich Recherche.

00:02:08: Das ist einfach ein sehr schnelles effizientes Recherchetool auch wenn man immer ein bisschen darauf achten muss dass es noch aktuell ist.

00:02:15: insofern Ja, das wird die Welt verändern und wir merken auch dass Aufgaben, die bisher immer von jüngeren Kollegen erledigt wurden also wissenschaftlichen Mitarbeitern oder so sehr viel schon durch KI ersetzt werden können.

00:02:27: Und dass wir da auch Ressourcen sparen auf der menschlichen Seite und die durch IT-Ressourzen ersetzen können.

00:02:33: Das ist natürlich ein Diskussionsthema weil wir uns dann im Nachgang fragen müssen wo kommt denn eigentlich der Nachwuchs her?

00:02:48: Es ist tatsächlich ein Ausbildungsthema, weil wir auch merken.

00:02:51: Wir kriegen die jüngeren Kollegen nicht mehr so in die Recherche-Themen, in die Lesetheben und in die Lektürethemen rein wie das vielleicht noch vor zwei, drei Jahren der Fall war.

00:03:00: Und die benutzen natürlich auch selber künstliche Intelligenz und denken tatsächlich nicht mehr viel selber, sodass Gedanken machen, eine Lösung habe ich natürlich nicht.

00:03:10: Hat glaube ich im Moment auch keiner.

00:03:12: Wir versuchen so ein bisschen ne Mischform zu fahren und auch noch trockenes Lesen zu verlangen um die Kollegen am Ball zu halten.

00:03:22: Ich war neulich mit dem Kollegen von dir, von der anderen Kanzlei Mittagessen Und der investiert jetzt auch in KI insbesondere in Expertise also in Menschen.

00:03:34: Was ich ganz spannend fand ist, er hat Juristinnen eingestellt mit dem zweiten Staatsexamen und die sollen sich nun um die Nutzung von KI in der Kanzlei kümmern.

00:03:47: Also keinen KI-Experten, keine Data Scientists

00:03:50: etc.,

00:03:52: beobachtest du eine ähnliche Tendenz?

00:03:54: Ich glaube, das geht gar nicht anders.

00:03:56: Ich glaube dass diese Schnittstelle immer breiter wird zwischen der Technologie und dem Recht und auch den Wissensanforderungen die man haben muss, die man erfüllen muss um da sinnvoll beraten zu können und es auch sinnvoll vorantreiben zu können.

00:04:12: Also bei uns ist es so.

00:04:13: wir haben tatsächlich auch JuristInnen mit zweitem Staatsexamen in einer eigens dafür gegründeten Gesellschaft Die für uns auch die KI-Lösung weiterentwickelt stellenweise auch spezifisch für uns baut und die arbeiten eben sehr eng mit den AI-Engineers, den Data Science Tests usw.

00:04:30: zusammen.

00:04:31: Auch damit wir natürlich unseren großen Datenschatz, Wissensschatz, den wir haben so sinnvoll aufbereiten können dass wir ihn auch nutzen können weil für Anwaltskanzleien da ja auch ein bisschen Besonderheiten gelten.

00:04:41: Wir müssen das geheim halten Das muss alles bei uns bleiben.

00:04:45: Insofern finde ich es sehr wichtig, dass man diese Schnittstelle breiter macht die Qualifikationen auf beiden Seiten, also sowohl auf der Entwicklerseite als auch auf der Juristenseite miteinander so gut verzahnt, dass sie sich verstehen und das zusammenarbeiten können.

00:05:01: Was sagen denn die Kunden?

00:05:02: Also wenn ihr jetzt beispielsweise Vertragsentwürfe mit KI macht, Recherchen betreibt, also genau die Anwendungsgebiete, die du uns gerade genannt hast, sagen dir hey Klasse!

00:05:13: Aber wenn ihr alles mit KI

00:05:19: Das liegt natürlich den Finger in die Wunde, denn wir Anwälte werden bisher noch weitgehend nach Stunde bezahlt.

00:05:26: Wir sehen bei den Mandanten eine ganz große Spannbreite von bitte gar keine KI verwenden!

00:05:31: Wir wollen alles manuell.

00:05:32: das machen wir dann auch wenn der Mandant das wünscht Bis zu, ich habe das hier mal durch meine KI geschickt.

00:05:39: Kannst du das mal bitte durch deine KI schicken und dann telefonieren wir nochmal was wir dann draus machen?

00:05:43: Also ich hab eine Mandantin mit der wir schon sehr lange auf diese Art und Weise zusammenarbeiten.

00:05:47: funktioniert auch super ist natürlich klar.

00:05:51: Auch kann sein sind Wirtschaftsunternehmende Frage wie man das dann bepreist.

00:05:55: Das ist im Fluss.

00:05:56: Wir arbeiten sowieso schon viel mit Fix Preisen Und so.

00:05:59: die billable hour is Mehr oder weniger tot, aber totgesagte Leben ja bekanntlich länger.

00:06:05: Wir rechnen schon noch auf der Grundlage wie viel Stunden dauert das denn jetzt?

00:06:09: Ich merke aber dass bei vielen Mandanten auch eine Bereitschaft besteht die Expertise die man einbringt selbst wenn man KI einsetzt dann auch vernünftig zu entlohnen und gut zu bezahlen.

00:06:22: weil den Erfahrungswert, so ein KI-Ergebnis einschätzen zu können und sagen zu können das ist was der Mandant wirklich brauchen kann mit dem er etwas anfangen kann.

00:06:30: Den kann die KI nicht ersetzen.

00:06:32: Das es tatsächlich einen Mehrwert den Anwaltern da auch eindringt Und natürlich geben wir keine KI Ergebnisse ungeprüft raus.

00:06:40: Das versteht sich glaube ich in unserem Beruf von selbst.

00:06:46: Ich kenne keine Berufsgruppe, die sich so auf KI gestürzt hat wie die Anwälte.

00:06:50: Es ist wirklich sehr frappierend weil alle merken Hopla das ist jetzt eine digitale Technologie, die unsere Arbeit wirklich verändert, nachdem sie zwanzig Jahre lang komplett an der Digitalisierung vorbeigeschrammt sind.

00:07:03: Ist das jetzt sozusagen die frontale Änderung auch des Geschäftsmodells?

00:07:06: Video ist ja schon gesagt mit der Billable Hour, Gefühlt schon immer, die Grundlage ist und plötzlich ist sie eigentlich jetzt die eigentliche Disposition weil es in der KI-Welt ja wenig Sinn macht nach Stunden zu bezahlen.

00:07:19: Weil das würde ja eigentlich euren Umsatz schmälern.

00:07:23: Ja oder wir machen eben mehr ne?

00:07:26: Also im Moment geht der Trend dazu eher mehr zu machen.

00:07:30: Nach meinem persönlichen Gefühl ist es auch so.

00:07:33: also ich habe so viel zu tun gerade wie seit Jahren nicht mehr Was gut und schlecht ist natürlich.

00:07:41: Ich glaube, die Faszination an der KI ist dass sie einem wirklich den nervigen Sachen abnimmt also das was man früher auch als Anwalt gehasst hat nämlich das was immer gleich ist.

00:07:51: ich weiß nicht wie viele Haftungsglauseln in meinem Leben schon geprüft habe.

00:07:55: da kann mir die KI natürlich super helfen oder sehr umfangreiche Dokumente lesen und zusammenfassen.

00:08:00: Das sind so handlanger Aufgaben.

00:08:02: Da denke ich gar nicht mehr drüber nach ob das die KI macht.

00:08:06: Wir versuchen das natürlich auszubauen, wir fangen jetzt an mit Agenten zu arbeiten und da ein bisschen mehr noch zu machen.

00:08:12: Aber natürlich ist das eine Riesenfaszination auf.

00:08:15: uns erleichtert den Job unglaublich!

00:08:18: Ich glaube aber man muss so ein bisschen aufpassen Holger weil du sagtest die Anwälte haben sich so drauf gestürzt auf die KI.

00:08:24: Das ist glaub ich ne Frage in welcher Bubble man unterwegs isst Weil es gibt durchaus auch Kollegen die dem Ganzen sehr sehr skeptisch gegenüberstehen Und das komplett ablehnen.

00:08:35: Ich sag mal ein Läden wie unserem.

00:08:37: Ich weiß jetzt kein persönliches Beispiel, aber ich treffe öfter mal Kollegen wo ich mich dann wundere auch jüngere Kollegen wenn sie sagen ach du liebes bisschen nie.

00:08:44: warum soll ich denn KI einsetzen?

00:08:46: Genau wie ihr sagt dann werde ich ja nicht mehr... Dann brauche ich ja weniger Stunden und verdiene viel weniger Geld.

00:08:51: Wenn ich das noch manuell machen kann mache ich es doch lieber manuell.

00:08:54: Also da ist eine unglaubliche Spannbreite und man kriegt nicht immer alles mit habe ich das Gefühl.

00:09:00: Und dann fällt man aus allen Wolken wenn jemand sagt ne KI nicht auf keinen Fall

00:09:05: Stimmt, das kommt in unsere Bubble nicht vor.

00:09:09: Ich würde gerne sozusagen von eurer Arbeit auf das übergehen.

00:09:14: was sozusagen die Arbeit mit KI-Unternehmen im Moment betrifft und da sind wir bei der rechtlichen Seite natürlich beim AI Act ja schon seit einigen Jahren durch die Gegend schwirrt jetzt mit dem Omnibus noch mal verändert wurde.

00:09:31: viele Unternehmen haben Echt Schwierigkeiten zu sagen, wie sind wir denn davon betroffen?

00:09:35: Welche unserer Anwendungen fallen darunter?

00:09:38: Welchen müssen wir sozusagen freigeben lassen.

00:09:41: Also es herrscht eine große Unsicherheit.

00:09:43: Wie würdest du das denn heute charakterisieren?

00:09:45: Wo stehen wir heute?

00:09:47: was ist verbindlich?

00:09:48: Was kommt auf uns zu?

00:09:50: Das ist eine sehr gute Beobachtung, finde ich.

00:09:54: Weil wir ja ungefähr seit einem Jahr darauf warten dass die Umsetzungswelle losgeht und sich alle Unternehmen bei uns melden und sagen bitte Hilfe bei der Umsetzung Ist aber nicht passiert.

00:10:04: es fängt jetzt langsam an das eine Sensibilität entsteht Und dass man anfragen kriegt sagt man muss Ich das eigentlich auch machen mit diesen Mit dieser KI Verordnung Die KI Verordnungen gilt Also der AI Act, der gilt.

00:10:17: Und zwar schon eine ganze Weile.

00:10:18: seit Anfang zwanzig fünfundzwanzig verbotene KI darf ich seitdem schon nicht mehr nutzen.

00:10:23: Verboten ist das was man auch mit gesunden Menschen verstand als verboten ansehen würde nämlich alles was so Social Scoring Manipulation Fake und so weiter angeht.

00:10:36: Das darf man schon relativ lange weile nicht mehr.

00:10:40: Was außerdem seit August sind die Transparenzpflichten?

00:10:43: Im Wesentlichen heißt das, wenn ich mit einer KI interagiere.

00:10:46: Muss ich wissen dass ich mit der KI inter agiere oder dass ein Inhalt künstlich erzeugt oder manipuliert worden ist und dafür gibt es sehr umfangreiche sehr detail verliebte Guidelines von der EU Kommission wie diese Transparenzpflichten umzusetzen sind also wo das Label sein muss wie das auszusehen hat auf welchen Schichten eines mehrstufigen Prozesses dieses Label überall auftauchen muss, damit es nicht entfernt werden kann und so weiter.

00:11:13: Das ist also durchaus einigermaßen komplex geregelt ohne dass das Ergebnis besonders komplex aussieht.

00:11:19: Ist ja ganz oft so.

00:11:21: Das sind aber Sachen die jetzt schon fast alle in irgendeiner Form betreffen.

00:11:26: Also entweder durch aktive Pflicht zum Handeln oder jedenfalls durch eine Pflicht irgendwelche Kennzeichnungen zu erhalten oder nicht zu entfernen.

00:11:35: Dann reden wir doch mal gerne über die Transparenzpflichten.

00:11:38: Also nehmen wir mal an, du oder eine Kollegin und ein Kollege erstellt eine PowerPoint-Präsentation macht nette Bilder mit Claude oder welchen Sprachmodeller auch immer.

00:11:49: muss er oder sie dann irgendwie da sozusagen ein Label dran machen?

00:11:54: Achtung dieses tolle Bild wurde mit einer KI generiert.

00:11:58: oder nur für ganz spezielle Arten von Bildern

00:12:01: Genau, also wenn ich sage mal normale Inhalte erzeuge Textbilder und so weiter muss der Hersteller des KI-Systems dafür sorgen dass die gekennzeichnet sind.

00:12:11: Also der muss technisch sicherstellen das der Output entsprechend gekennzeugt ist.

00:12:15: Ich sollte die Kennzeichnung dann natürlich nicht entfernen.

00:12:18: Wenn ich nur nutze habe ich keine eigenen Pflichten.

00:12:22: Wenn ich aber Betreiber bin und so eine KI zum Beispiel in meinem Unternehmen einsetze, dann könnte mich zum Beispiel die Pflicht treffen einen sogenannten Deepfake zu kennzeichnen also ein künstlich manipuliertes Bild das wie echt aussieht.

00:12:35: Es liegt eigentlich wenn man nicht ganz so kompliziert denkt wie Anwälte liegst du auf der Hand dass da ein Klebi drauf sein muss.

00:12:41: Das ist KI Aber so eine Pflicht zum Beispiel könnte mich treffen.

00:12:44: Das muss ich mir im Einzelfall angucken ob es ein deepfake ist oder nicht.

00:12:48: Und das ist jetzt kein Unterschied, wenn ich sage mal ein Deepfake von Friedrich Merz mache oder auf der anderen Seite einen Landschaftsbild.

00:12:57: Gibt es da Unterschiede?

00:13:00: Das ist insofern keinen Unterschied als dass die Begrifflichkeit des Deepfakes im Moment sehr weit verstanden wird und deswegen natürlich auch ein Landschaftspild gegebenenfalls drunterfallen kann.

00:13:10: Wichtig ist die Anmutung eines realen Bildes obwohl es eigentlich kein reales Bild.

00:13:17: Also die Verordnung will verhindern, dass man etwas für echt hält was nicht echt ist.

00:13:22: So kann man es glaube ich runterbrechen.

00:13:24: Und was passiert wenn man's falsch macht?

00:13:28: Da gibt´s dann Bußgelder.

00:13:30: also erstmal muss es eine Behörde geben.

00:13:31: dies verfolgt natürlich immer so bei den Bußgeldern.

00:13:35: Das ist in Deutschland im Wesentlichen die Bundesnetzagentur.

00:13:38: Die macht das gemeinsam mit der Bundesaufsicht für Finanzdienstleistungen Der BAFIN für die Finanzdienste Leistungskai.

00:13:47: Die teilen sich das so ein bisschen.

00:13:48: Sie streiten sich jetzt schon über Zuständigkeiten, obwohl sie noch gar nicht richtig angefangen haben und die können dann loslaufen prüfen und gegebenenfalls Bußgelder verhängen.

00:14:00: Die können auch einigermaßen hoch sein, siebenfache des Jahresumsatzes usw.

00:14:06: Eine Besonderheit in Deutschland ist, dass das Ganze über das Ordnungswidrigkeiten-Gesetz abgewickelt wird.

00:14:10: Das bedeutet wenn ich mich in meinem Unternehmen als Vorstand nicht vernünftig darum kümmere, dass ich Prozesse habe um Compliance neu Deutsch herzustellen kann ich mit meinen Privatvermögen die Haftung rutschen weil ich eine Organisationspflicht habe in meinem Unternehmenden dafür zu sorgen, dass keine Rechte verletzt werden.

00:14:28: Ist insofern klingt relativ gravierend.

00:14:31: wie sich das dann in der Realität darstellt werden wir sehen wenn es richtig losgeht.

00:14:35: Wir haben uns in der letzten Zeit relativ intensiv mit Softwareentwicklung, mithilfe von Cloud Code beschäftigt und sind begeistert von den Fähigkeiten.

00:14:46: Wo muss sich da denn rechtlich aufpassen?

00:14:49: Wenn ich beispielsweise eine Spiele-Software erstelle was wir in zwei Varianten jetzt gemacht

00:14:54: haben.

00:14:55: Vorne hinten links und in der Mitte also wie weiß... Das ist tatsächlich gerade eines heikelsten juristischen Themen, weil ich drei Ebenen habe auf denen ich aufpassen muss.

00:15:08: Und zwar nicht was die KI-Verordnungscompliance angeht sondern in dem Fall tatsächlich etwas Urheberrecht und anderes geistiges Eigentum angeht.

00:15:15: Ich hab' auf der einen Seite Trainingsdaten.

00:15:18: Mit ein bisschen Glück kenne ich die mit ein bisschen Pechkenne ich sie nicht.

00:15:22: Schon an der Stelle muss sich aufpassen dass ich nicht aus versehen was verwendet was jemand anderen gehört um meine KI zu trainieren.

00:15:28: Da gibt es zwar gesetzliche Ausnahmen Die kann ich aber, da kann ich rausoptieren als Rechteinhaber aus diesen Data-Miningrechten.

00:15:38: Die gelten also nicht immer und manchmal übersehen die KI's das, dass da so ein Opt out ist, weil es entweder nicht richtig maschinenlesbar ist oder weil es technologisch nicht mehr auf dem aktuellen Stand ist.

00:15:49: Oder, oder, oder... Da liegt jedenfalls ein bisschen Pfeffer!

00:15:56: Der zweite, zweite Stufe wo man ein bisschen aufpassen muss ist was macht die KI dann am Ende mit den Trainingsdaten?

00:16:01: In dem Fall also wenn die selbst verfielfältigt und memorisiert.

00:16:05: Also sich an die konkreten Inhalte erinnert gilt das Urheberrechtlich als Verfühlfältigungshandlung.

00:16:10: dafür braucht man eine Lizenz um das machen zu dürfen vom rechten Inhaber.

00:16:14: Und die dritte Stufe ist tatsächlich der Output.

00:16:18: Der ist zwar möglicherweise nicht selber geschützt kann aber natürlich Teile von geschützten Inhalten enthalten und wiedergeben was dann wiederum auch eine urheberrechtlich relevante Handlung und damit Lizenzpflichtig ist.

00:16:30: Es gibt eine sehr anschauliche Entscheidung, interessanterweise gibt es aus England eine die das genau Gegenteil entschieden hat.

00:16:35: aber das Landgericht München hat vergangenes Jahr entschieden.

00:16:39: Das hat fast jeder mitgekriegt.

00:16:40: Das war das Verfahren GEMA gegen OpenAI.

00:16:43: da wurde ein Songtext von Helene Fischer als Trainingsdatum verwendet im Modell memorisiert und dann wieder erkennbar ausgegeben und verfielfältigt.

00:16:53: und die haben halt mal geklagt.

00:16:55: Und da hat das Landgericht eben genau das entschieden, nämlich dass es auf drei Ebenen Urheberrechtsverletzungen geben kann und in dem Fall auch gab.

00:17:04: Das ist nicht bis ganz zu Ende gedacht weil das natürlich sehr gravierende Konsequenzen hat für den Umgang mit KI ist aber nun mal in der Welt.

00:17:16: Wir haben ja viele Gerichtsurteile in diese Richtung in Deutschland die sehr weitgehend sind, die plötzlich den Einsatz der KI grundsätzlichen Frage stellen.

00:17:25: Also auch gegen Google und weitere, die ja sehr international viel für Aufsehen gesorgt haben weil sie eine sehr klare und weitgehende Richtung vorgeben.

00:17:36: Wie würdest du das bewerten?

00:17:37: Sind die deutschen Gerichte da strenger?

00:17:39: urteilen Sie eher im Sinne der Urheber?

00:17:43: Ist das International anders, weil du sagst, die Briten haben ganz anders geurteilt?

00:17:48: Ja, ich glaube sie sind strenger weil Deutschland traditionell ein sehr urheberfreundliches Land ist und auch ein sehr uhrheber freundliches Urheberrecht hat.

00:17:58: Es kommt auch aus Deutschland im Prinzip.

00:17:59: Buchdruck war der Ursprung Und das Urhebergrechtssystem in Europa ist dieses Autorenrecht.

00:18:07: Das heißt das Urherberecht hat eine persönlichkeitsrechtliche Komponente und ist sozusagen ein Teil deiner persönlichen Integrität.

00:18:15: und die deutschen Gerichte sind eben dann auch ans Grundgesetz gebunden und eine allgemeine Persönlichkeitsrechte gebunden.

00:18:21: Und achten da sehr stark drauf, dass der Urheber keine Einbußen auf dieser Seite verzeichnen muss.

00:18:28: Ob das zeitgemäß ist und zu einer Technologie wie KI passt die Frage kann man sich aus meiner Sicht und sollte man sich auch stellen weil es eben keine persönlichen Werke wie ein Faust oder einen Rembrandt gemälde sind sondern nullen und einsen wenn man es ganz platt ausdrucken möchte.

00:18:48: Die Diskussion gibt's aber schon sehr lange, also ungefähr seit zwanzig Jahren mindestens ob Urheberrecht und Technologie zusammenpassen und es tut sich relativ wenig.

00:18:58: Es gab neulich mal ein Papier von EU-Seiten denn so ein bisschen die Frage gestellt wurde, ob man das alles so noch braucht mit dem Urheberecht in der Technologie?

00:19:07: Das geht aber nicht so richtig voran diese Diskussion.

00:19:11: deswegen werden wir noch öfter für solche Gerichtsentscheidungen laufen und uns die Frage stellen müssen, wie kann man damit umgehen so dass man KI trotzdem noch verwenden kann?

00:19:22: Holger hatte vorhin schon den EUAI-Akt angesprochen.

00:19:26: Und jetzt trachten wir uns doch mal einen fiktiven Mittelständler, sagen wir mal so fünfhundert Mitarbeiter irgendwie sowas in der Art oder Mittelständlern möchte mit KI Tools wie GBT oder Cloud Texte machen, Präsentationen machen vielleicht auch ein Stück Software machen Entwickelt also so die klassischen GenAI Anwendungen?

00:19:48: Was muss der denn eigentlich berücksichtigen, das ist ja erstmal alles jetzt nicht so wahnsinnig gefährlich.

00:19:54: Stimmt aber nehmen wir doch mal die Softwareentwicklung als Beispiel weil man da am meisten glaube ich dran sehen kann.

00:20:01: Also es geht ja immer als erstes Mal um die Auswahl welches Tool benutze ich dann?

00:20:05: Und wie entscheide ich mich für einen Tool in meinem Unternehmen, das vielleicht entdeckend eingesetzt werden kann.

00:20:12: Wenn ich nicht sowieso Microsoft benutze und schon den Co-Pilot habe – was bei ganz vielen natürlich der Fall ist!

00:20:19: Ich muss also als Unternehmer erst mal wissen okay, ich hab hier ein Tool, das hat KI und meine Mitarbeiter verwenden das.

00:20:25: Dann geht der Mitarbeiter hin und sagt ach naja, hier Softwareentwicklung ist viel einfacher wenn ich Cloud Code dafür verwende oder ein vergleichbares Tool.

00:20:34: Ich mache das jetzt einfach.

00:20:37: Da stellt sich dann die Frage, wieso kommt der Mitarbeiter auf die Idee es einfach machen zu können und warum fragt er nicht vorher jemanden?

00:20:44: Das heißt ich muss als Unternehmer dafür sorgen dass meine Mitarbeiter sensibilisiert sind, muss für die berühmte KI-Kompetenz sorgen damit sie sagen ich benutze nicht einfach irgendein KI Tool sondern ich gucke vorher was ich da mitmachen darf damit ich nicht unnötig irgendwelche Risiken kreiere.

00:21:00: denn ich kann natürlich mir einen kleinen Agenten bauen um meine E-Mails zu sortieren, sondern ich kann auch Massenvernichtungswaffen bauen.

00:21:08: Mit einem Tool wie Cloudcode dürfte das wahrscheinlich sogar tatsächlich gehen.

00:21:14: als Beispiel.

00:21:16: Genau also ich brauche eine Guide Line für die Mitarbeiter.

00:21:19: was darf ich machen wenn ich ein Genai-Tool bin?

00:21:22: Aber darf ich da mal einhaken?

00:21:24: Ich nehme an dieses Beispiel dass man mit der KI ja böse Sachen entwickeln kann.

00:21:31: Das konnte man aber doch auch mit jeder klassischen Software, also da braucht es doch eigentlich keine KI dafür.

00:21:38: Und warum soll jetzt die KI sozusagen explizit geredet werden?

00:21:44: Im Unterschied zu klassischer Software... Also ich gebe dir natürlich recht!

00:21:48: Die Möglichkeiten haben sich ja durch KI eigentlich insgesamt nicht verändert und die Risiken auch nicht.

00:21:53: sie sind nur größer und schneller skalierbar geworden und weniger verständlich weil die KI so komplex agiert, dass wir Menschen das nicht mehr nachvollziehen können.

00:22:02: Ich glaube, das führt dazu, dass stärkere Regulierung greifen muss sollte.

00:22:09: und bei der KI ist es eben im Unterschied zur normalen Software so, dass ich die KI-Verordnung habe, die bestimmte Regeln festlegt was sich mit KI machen darf und was ich nicht mit ihr machen darf.

00:22:19: Und um zu verhindern, dass mein Mitarbeiter etwas tut weil er nicht machen darf, muss ich ihm sagen was er machen darf in welchem Rahmen er sich bewegen kann damit er nicht aus versehen Hochysikokai baut oder was Verbotenes tut.

00:22:34: Das hat natürlich immer dann zwei Aspekte, das eine ist das Einhalten des Gesetzes, dass Stumpfe als Selbstzweck ist es vielleicht nicht besonders eingängig, das andere aber tatsächlich ja das Verhindern von irgendwelchen Risiken, von Haftungsrisiken und Gefahren für Leibleben, Gesundheit und meine Daten- und Unternehmensgeheimnisse.

00:22:55: Wie sollten sich denn Unternehmen organisatorisch dafür aufstellen?

00:22:57: Neue Studie gelesen, dass ganz viele Unternehmen die Verrotzitzungen noch gar nicht geschaffen haben.

00:23:01: Dass sie jemanden haben der dafür verantwortlich ist das Sie darüber berichten also in ihrem Jahresbericht sagen wie sie mit KI umgehen?

00:23:09: da gibt es ja ganz viele Pflichten die da verbunden sind.

00:23:12: braucht man ein AI-Office oder sowieso der Vorstand am Ende der der haftet wenn's schief geht?

00:23:19: Also was ist sozusagen für den Mittelschändler an der Stelle zu tun?

00:23:23: Genau also Verantwortliche Rollen schaffen ist glaube ich Schritt zwei von mindestens drei, die ich brauche oder vier.

00:23:32: Schritt eins ist rausfinden was ist denn eigentlich schon an KI unterwegs im Unternehmen?

00:23:37: Also mal eine Bestandsaufnahme machen weil wir immer wieder sehen also wir arbeiten recht viel mit Mittelständlern in verschiedenen Größenordnungen und immer wenn wir anfangen und Fragen stellen das sind die erste Frage was benutzt ihr denn schon?

00:23:49: da kommen sehr viele Antworten und oft ist viel mehr KI im Unternehmen unterwegs, als man denkt.

00:23:56: Und das ist die erste Aufgabe.

00:23:58: Mal gucken was habe ich alles?

00:23:59: Und wofür wird es eingesetzt in welchen Bereichen, in welche Anwendungsfällen?

00:24:03: Der zweite Schritt ist eben gucken.

00:24:05: Ich brauche jemanden der verantwortlich ist dafür dieses Register zu pflegen und letztlich auch die Prozesse zu beaufsichtigen, die ich brauche um nachher alle Pflichten einhalten zu können und Risiken klein zu halten.

00:24:20: Diese ganzen Newscases, die ich da einsammle muss sich dann nach der KI-Verordnung in irgendeiner Form kategorisieren.

00:24:26: Also ich muss sie zuordnen zu den unterschiedlichen Risikoklassen und die Pflichten extrapolieren, die Ich dann einhalten muss je KI-Systeme also Transparenzpflichten bei HochrisikoKI noch sehr viele Logging, Testing Berichtspflichten Überwachungspflichten usw.. Und dann muss ich dafür sorgen dass diese Pflicht eingehalten werden.

00:24:46: das heißt ich brauche einen Governance Prozess.

00:24:49: Das klingt immer sehr viel, wenn man anfängt erstmal zu sammeln ist man schon ein großes Stück voran.

00:24:54: Weil man feststellen wird dass das meiste was eingesetzt wird nicht hohe Risiko ist in allenfalls Transparenzpflichten einzuhalten sind.

00:25:00: aber einen Governance Prozess brauche ich und der geht natürlich auch mit einem Verantwortlichen einher.

00:25:05: Das kann der Vorstand selber sein je nach Größe des Unternehmens bietet sich meistens an da jemandem zu haben etwas näher an der Technologie ist und das gut versteht und vielleicht auch noch einen Juristen mit an Bord zu haben der die KKF Ordnung einschätzen kann.

00:25:20: Nun gibt es ja auch Anwälte und ich meine jetzt explizit nicht dich, Lina.

00:25:25: Es gibt Anwältes, die machen ja auch richtig Angst.

00:25:29: Die fallen dann bei Unternehmen sozusagen in den Inzhaus rein und sagen okay so und so viel Prozent des Umsatzes kannst du als Strafe bekommen.

00:25:39: Sozusagen nimm mich mal und ich anwalt werde jetzt sozusagen alles regeln dass du um diese Strafe irgendwie herumkommst.

00:25:47: Gibt es eigentlich schon viele Präzidenzfälle, dass Unternehmen aufgrund des AI-Acts zu irgendwelchen heftigen Strafen verdonnert worden sind?

00:25:57: Nee, das gibt noch keine.

00:25:59: Das liegt aber vor allem daran, dass wir erst seit Gefühl gestern eine zuständige Behörde haben also es hat noch keiner so richtig angefangen da die Verordnung durchzusetzen.

00:26:09: Was diese Angstmacherei angeht, das ist immer so ein zweischneidiges Schwert.

00:26:13: Ich persönlich bin dann nicht so ein Fan von weil ich glaube dass es nicht nachhaltig ist wenn die Unternehmen aus Angst handeln und machen sie einmal was und sagen sich jetzt habe ich aber meine Angst bedient und dann mache ich nichts mehr.

00:26:24: Ich glaube das Verständnis wichtiger ist und auch Verständnis dafür dass man die KI-Verordnung und alles andere was noch an Gesetzen drum herum warbert aus Selbstzweck einhalten sollte, sondern weil man tatsächlich einen Risiko begegnen will.

00:26:40: Dass man vermeiden möchte.

00:26:41: Das fängt bei Datenlex an und hört bei Massenvernichtungswaffen mit Cloud gebaut um sie nochmal zu nennen am Ende auf.

00:26:51: Wir haben schon eine Überschrift für unseren Artikel.

00:26:57: Nee, also ich glaube es ist wichtig zu vermitteln dass die Risiken ja tatsächlich da sind.

00:27:05: Es ist ja nicht so das wir hier irgendwie ein Kinderspielzeug haben sondern wir haben eine sehr mächtige Technologie mit der man richtig viel machen kann und da ist ne Regulierung sinnvoll und gut und sollte eingehalten werden um bisschen Benchmark dafür zu haben was man tun kann um Risiken zu mitigieren Ohne dass man jetzt die KI-Verordnung in den Himmel loben muss.

00:27:28: Ich glaube, es weiß fast jeder das ich nicht so ein Riesenfan bin!

00:27:31: Aber der Regulierungsansatz und der risikobasierte Ansatz sind schon richtig und adressieren die richtigen Risiken.

00:27:36: Und wenn man das verstanden hat dann ist auch mit der Einhaltung nicht mehr zwingend Angst getrieben sondern Verständnisgetrieben.

00:27:45: Viele Unternehmen machen sich ja Angst, dass sie ein sogenanntes Hochrisikosystem haben.

00:27:49: Also die AI-Akt unterscheidet nach Risikoklassen und die Stufe Fünf mit dem höchsten Risiko.

00:27:58: Da fürchten ganz viele, dass Sie das haben, dass es ganz furchtbar komplex wird so einen hoch risikosen System quasi sich genehmigen zu lassen.

00:28:05: was ist dein Vorschlag?

00:28:06: wie geht man damit um?

00:28:07: Wie erkennt man überhaupt, dass man so ein System hat?

00:28:10: Beispiel der Klaus Müller, der Chef der Bundesnetzagentur hat uns mal erzählt, dass ganz viele Unternehmen fürchten, dass sie ganz, ganz viele Hochrisikosysteme haben.

00:28:16: Was sich im Nachhinein gar nicht so zeigt?

00:28:19: Aber was sind denn Hochrisiko-Systeme und wie muss ich mit denen umgehen damit mir da kein Problem entsteht?

00:28:28: Also es gibt zwei verschiedene eigentlich drei aber zwei große Kategorien Hochrisikkosystemen.

00:28:34: das eine sind die regulierte Produkte betreffen Wo die KI ein Sicherheitsbauteil in einem regulierten Produkt ist.

00:28:43: Fahrzeuge, Flugzeuge Spielzeug solche Sachen?

00:28:47: Da gibt es Regelungen in der Produktregulierung selbst und die KI-Verordnung.

00:28:53: Die wechseln sich ab und überschneiden sich was die Regulierung angeht das weiß ich.

00:28:58: aber wenn ich sowas habe weil Ich weiß ob ich ein reguliertes Produkt herstelle oder nicht.

00:29:03: Das andere und das ist das, wo viele Angst vorhaben.

00:29:06: Ist der berüchtigte Anhang drei?

00:29:08: Das ist eine Liste mit Anwendungsbereichen von KI die als Hochrisiko gilt.

00:29:14: Das meiste davon is auch was worauf man kommen kann Netzbetrieb kritische Infrastruktur Kreditbewertung Bonitätsbewertungen und so Sachen.

00:29:22: da kann man schon mal kurz drüber nachdenken Und kommt meistens auf die Idee zu gucken Was wir ganz oft sehen was die Unternehmen nicht Auf dem Radar haben ist das Thema HR Personalwesen und Bewertung im Job, Arbeitszeiterfassung usw.

00:29:38: Also alles was mit Karriere beruflichem Fortkommen der Bewertungen meiner beruflichen Performance zu tun hat ist auch Hochrisiko und das wird oft übersehen.

00:29:48: also da sollte man als erstes mal hingucken was man hat und welchem Anwendungsbereich man konkret ist

00:29:55: Und du hattest vorhin das Wort Kompetenzaufbau in den Mund genommen.

00:30:00: Ich gehe noch mal zurück zu unseren Holgers und meinen Mittelständler, der jetzt sagen wir mal nix im Bereich HR macht und sozusagen diese Basisgeschichten.

00:30:12: Wenn er jetzt sicher sein möchte dass er sozusagen EU-Act compliant ist es dann ausreichend stündige Schulung von dir, Lina Holger oder mir macht?

00:30:25: Oder ist das irgendwie definiert wie umfangreich eine solche Schulung sein muss.

00:30:33: Es gab eine Pflicht angemessene Kompetenz diversifiziert nach Rollen und Berührungs-, also Exponierung zur KI sicherzustellen.

00:30:43: als Unternehmen da hat der Omnibus tatsächlich mal ein gutes Werk getan Der KI-Omnibus als Vereinfachungsgesetz zur KI Verordnung Das ist jetzt keine harte Pflicht mehr geschuldet ist, bemühen darum die Mitarbeiter adäquat zu schulen.

00:30:58: Man sollte es trotzdem unbedingt tun weil KI-Haftung auf der zivilrechtlichen Ebene also außerhalb der KI Verordnung Schadensersatzansprüche von Betroffenen eine ganz normale Verschuldungshaftung ist.

00:31:10: das heißt wenn ich fahrlässig etwas falsch gemacht habe nicht aufgepasst habe einfach nur muss sich Schadensersatz zahlen.

00:31:18: Und Fahrlässigkeit ist bei uns Juristen definiert, als die im Verkehr angemessene Sorgfalt und zu einem verkehrangemessenen Sorgfall.

00:31:25: wenn ich KI in meinem Unternehmen einsetze gehört es eben auch dass meine Mitarbeiter wissen was sie da tun und ein bisschen eine Ahnung davon haben Was ne Bayes is?

00:31:33: Was ne Halluzination iis und was so die gängigen Risiken bei KI sind.

00:31:37: das heißt Auch Wenn Das Jetzt Keine harte Pflicht In der KI Verordnung Mehr Ist Muss Ich Schulen wie hoch das Wissensniveau sein muss, was die Mitarbeiter haben müssen.

00:31:47: Er hängt tatsächlich davon ab, was sie konkret machen.

00:31:49: Wenn die einfach nur einen Co-Pilot-Chat nebenherlaufen haben dann reicht eine einstündige Schulung zum Thema Halluzination und bitte prüft einen Output.

00:31:57: Wenn es näher an die Entwicklung rückt wenn Agenten eingesetzt werden je mehr getan wird desto mehr müssen die Leute wissen und desto besser muss ich auch meine Schulungsinhalte diversifizieren Zum Beispiel unterscheiden zwischen den Leuten, die im Personalwesen tätig sind und KI einsetzen.

00:32:14: Und denen, die keine Ahnung im Netzbetrieb in der Netzsteuerung

00:32:19: entwickeln.

00:32:20: Stichwort Agenten.

00:32:22: Vor ein paar Wochen gab es ja den Fall, dass über tausend Agenten von OpenAI so in einer Testumgebung sollten sie irgendwelche Schwachstellen suchen ausgebrochen sind und dann auf die Seite von Hackingface gelangt sind das und paar Daten gestohlen haben.

00:32:39: ist der AI-Eckt auf solche Dinge vorbereitet?

00:32:44: Das ist eine schwierige Frage, weil der AI-Eck ja technologieneutral sein soll.

00:32:50: Also du verbietet nicht die Technologie sondern den konkreten Anwendungsfall.

00:32:54: Der Agent als solcher kommt da nicht vor.

00:32:56: und auch die Dynamik der Autonomieentwicklung um es mal untechnisch zu formulieren hat der Gesetzgeber tatsächlich wohl nicht vorher gesehen, weil er nur an einer Stelle von autonomieangemessener Überwachung spricht nämlich bei der human oversight also beim bei der menschlichen Überwachung.

00:33:16: Deswegen ist KI-Verordnungscompliance mit Agenten relativ einfach, die gucke ich mir einfach an wie ein ganz normaler Newscase und bewährte sie.

00:33:25: Was schwieriger ist, ist die Verhinderung von zivilrechtlichen Risiken und Agenten, die ihren Kompetenzbereich verlassen so wie es eben bei OpenAI passiert ist.

00:33:34: Und da stoße ich tatsächlich an Grenzen was... das Bewusstsein oder das Wecken des Bewusstseins in den Unternehmen angeht, weil wir das schon relativ lange sagen ihr müsst die überwachen.

00:33:46: Ihr müsst da dranbleiben und entsprechend loggen was die tun, die Guardrails hart koden und nicht einfach nur prompten und solche Geschichten.

00:33:55: und da fehlt so ein bisschen... ...die Umsetzungsdynamik und das Problembewusstsein.

00:33:59: deswegen bin ich ehrlich gesagt ein bisschen froh dass ab und zu mal etwas passiert, weil es auch ein bisschen das Gefahr bewusst sein schärft.

00:34:06: aber ja dann muss sich Also bei Agenten muss ich mehr tun als das, was in der KI-Fordnungen steht.

00:34:11: Muss mehr Risiken verhindern?

00:34:15: Wir haben ja einen rasanten technischen Fortschritt.

00:34:17: Wir gehen ja im Moment alle sozusagen über von KI ein Punkt Null des Promptens hin zu KI zwei Punkt Nulle den Agenten die weitgehend automatisiert irgendwas tun und das ist ja nicht das Ende.

00:34:30: Sollte sagen diese Automatisierungswelle läuft ja mit einem tomen Tempo und wird die Wirtschaft verändern.

00:34:36: Hast du das Gefühl dass das recht darauf vorbereitet ist, dass es recht damit kommt auch wenn es sozusagen Technologie offen ist.

00:34:44: Dass die Juristen an der Stelle überhaupt eine Chance haben, die Entwicklung einigermaßen zu begleiten?

00:34:51: Das ist so ne ja und nein Antwort!

00:34:54: Die spezifische Regulierung ist da nicht darauf vorbereitet und wird nie schnell genug passieren können um wirklich jeden technischen Fortschritt in Echtzeit sozusagen abzufangen.

00:35:05: Was wir ja aber haben, sind grundlegende Rechtsprinzipien.

00:35:09: so was wie Werne Gefahr schafft ist dafür verantwortlich dass sie sich nicht realisiert um solche Geschichten und die gelten natürlich immer und auch bei neuen Technologien Und wenn man die konsequent anwendet kommt man was Risikofermeidung angeht relativ weit.

00:35:25: Es ist natürlich so, dass man dann keine Benchmarks hat und keine konkreten Pflichten hat sondern sich jeder so ein bisschen selber überlegen muss was kann ich denn tun?

00:35:34: Deswegen haben wir ja so umfassende Regulierung damit das überall einheitlich ist und wirklich jeder weiß was er tun muss.

00:35:40: aber es ist nicht so dass wir uns da in einem völlig rechtsfreien Raum bewegen würden selbst wenn der EU-Gesetzgeber sich in gewohntem Tempo diesen Themen annimmt.

00:35:53: Liebe Lina, ich habe so das Gefühl dass wir nicht zum letzten Mal über dieses Thema gesprochen haben weil es die Unternehmen noch sehr lange beschäftigen wird.

00:36:01: Vielen Dank für deine Zeit und für die tollen Antworten!

00:36:03: Das war sehr hilfreich für uns einzuschätzen wo's hingeht und ich glaube da ist in der Tat noch viel Gesprächsbedarf Peter und Ich.

00:36:10: Wir melden uns Anfang Dezember wieder mit einem spannenden Thema zum Einsatz der KI.

00:36:14: Vielen dank und bis dahin.