00:00:04: Ja, einen schönen guten Tag.

00:00:05: Ganz herzlich willkommen zu einer neuen Folge unseres FHZ Podcast

00:00:09: zur

00:00:09: künstlichen Intelligenz!

00:00:11: Wie Sie wissen oder wie Ihr wisst

00:00:12: sprechen

00:00:13: wir in diesem Podcast mit unseren Gästen aus Wirtschaft und Wissenschaft

00:00:17: und Politik

00:00:17: ganz konkret über den Einsatz von KI was heute schon alles geht, was morgen vielleicht möglich sein könnte aber auch darüber was vielleicht gefährlich sein

00:00:27: wird.

00:00:29: Wir das sind

00:00:30: Peter Buxmann

00:00:32: Und Holger Schmidt, wir beschäftigen uns an der TU Darmstadt am Fachgebiet Wirtschaftsinformatik und im Digitalwirtschaftsbriefing der FAZ mit dem Einsatz der KI und deren Auswirkungen auf Wirtschaft und Arbeit.

00:00:43: In unserer heutigen Folge begrüßen wir ganz herzlich Claudia Blattner.

00:00:46: Sie ist Präsidentin des Bundesamtes für Sicherheit in der Informationstechnik.

00:00:50: Die studierte Mathematikerin übrigens absolut ment in der TU-Darmstadt verfügte bei mehr als zwanzig Jahre Erfahrung und IT Funktionen für Unternehmen und Institutionen, indem sie zunächst als Softwareentwicklerin tätig war.

00:01:05: Sie hat sich dort für Cyber Sicherheit ein, ein zentrales Querschnittsthema für Staat, Wirtschaft und Gesellschaft.

00:01:28: Claudia, vielen Dank, was du heute bei uns

00:01:30: bist!

00:01:30: Mit dem größten für Gnügen.

00:01:31: Danke für die Einladung!

00:01:35: Ach, Sorgen haben wir natürlich alle irgendwo so ein Stück weit.

00:01:56: Das

00:02:05: fühlen mich auch nicht befugt ihm da jetzt einfach zu widersprechen das ist mal auch klar.

00:02:09: Also ich mache mir schon um ein paar Dinge Gedanken und auch Sorgen.

00:02:13: Ich mache mir längst um sehr konkrete Dinge Sorgen.

00:02:16: also für mich so ein ganz klassisches Beispiel.

00:02:18: im Moment habe ich zumindest das Gefühl Passiert nicht so super viel im Bereich vom Identity und klassischen Identity- und Accessmanagement für KIs.

00:02:27: Und das finde ich gerade in dem Bereich von Agenten eigentlich eine super, super wichtige Sache über die wir mal nachdenken müssten!

00:02:33: Wir kennen es alle wenn wir im Prompt irgendwas eingeben, liebe KI machen wir dies, dann macht ihr manchmal was ganz anderes und manchmal macht sie auch explizit Dinge, von denen wir explizite gesagt haben, macht die bitte nicht.

00:02:43: Also manchmal ist das Gefühl, die hört einfach nicht auf einen oder hat wir ja vergessen.

00:02:47: Das ist tatsächlich so bei diesen Transformer Modellen wieder vergessen.

00:02:50: Manchmal was man ihr gesagt hat und da denke ich mir dann wenn wir mit Agenten unterwegs sind, agentischer KI Die in unserem Namen handeln oder im Namen meiner Firma Dann sollten wir ein sehr genaues Gefühl dafür haben wer die Verantwortung für deren Handeln trägt.

00:03:06: Und auch wie wird er sicherstellen dass sie nichts tun was wir nicht wollen?

00:03:10: So also Das harmlose ist, die schreibt eine E-Mail in meinem Namen und die kommt... Da kommt ne ganz komische E-mail daraus.

00:03:16: Die ist mir dann vielleicht peinlich?

00:03:18: Okay kann ich korrigieren!

00:03:19: Aber was ist wenn es um Geldüberweisung geht oder was ist, wenn's um wirklich wichtige Entscheidungen geht, die plötzlich getroffen werden?

00:03:24: Prozesse, die ablaufen Und hier ein gutes Identity and Access Management zu schaffen, die auch ein Stück weit KI kontrolliert.

00:03:32: Das halte ich für eine ganz wichtige Sache und da sehe ich noch zu wenig Bewegung, was sich aber auch verstehen kann.

00:03:37: Im Moment haben natürlich alle einfach Dollarzeichen in den Augen.

00:03:39: das kann ich zwar nachvollziehen Aber dass ist ein Punkt der macht mir durchaus Sorgen.

00:03:44: Wie könnte so etwas denn aussehen?

00:03:46: Also meine Einschätzung wäre eher die wenn wir jetzt uns zusammen setzen einen Agenten entwickeln Und dann geben wir ihm eben nicht Zugang zu bestimmten Systeme Ist das nicht ausreichend?

00:04:00: Es ist auf jeden Fall ein ganz, ganz wichtiger Punkt.

00:04:03: Jetzt ist es aber so dass innerhalb des Zugangs natürlich so ein System auch durchaus viele Möglichkeiten hat.

00:04:08: also wenn ich einem System Zugriff auf dem Web Browser geben und ich gebe ihm sagen wir auch noch mal ein paar Zugangstaten zu irgendeinem Service im Web dann weiß ich nicht genau was das alles mit diesen Zugangsdaten theoretisch macht.

00:04:20: Das kann ich erstmal in der Funktion nicht mehr kontrollieren d.h.

00:04:23: im Zweifelsfall kann es mit der Erlaubnis, die ich gegeben habe mehr tun als eigentlich in meiner Intention lag.

00:04:30: Das heißt hier fehlen aus meiner Sicht noch ein Stück weit gute Konzepte.

00:04:33: vielleicht gibt's die auch schon und ich kenne sie noch nicht also ihr seid da wahrscheinlich sogar näher dran an den Forschungsgebieten.

00:04:39: für mich ist spannend wie verschaffen wir es hier auch weltweiten stückweiten standard zu etablieren der das ganze kontrollierbarer macht?

00:04:47: das halte ich für ganz wichtig.

00:04:49: Wenn ich jetzt zum Beispiel mal so ganz klassisches MCP, ich sag schon klassisch, das ist noch gar nicht so alt.

00:04:53: Aber wenn so ein MCP-Protokoll reingucke, da steht ein bisschen was zur Authentifizierung?

00:04:57: Das war's dann aber auch und das wird uns sicherlich auf Dauern nicht reichen!

00:05:03: Wie hat denn Generative AI die Sicherheits oder Bedrohungslage in den vergangenen zwei drei Jahren verändert?

00:05:10: Wir hatten im kurzen Beitrag der Sommer der Hacks weil wir davon ausgehen dass es in der nächsten Zeit spürbar an bedrohungen... zunehmen wird.

00:05:19: Kann man das quantifizieren?

00:05:21: Wo siehst du die größten Gefahren, die da auf den zukommen?

00:05:24: Ich glaube jetzt gerade vor Kurzem mit dem Mythos Moment wo wir dann alle erst mal lernen mussten wie man das Wort ausspricht kann man glaube ich durchaus sehen dass in dem moment die welt verstanden hat was da eigentlich für Fähigkeiten dahinterstehen und was da passieren kann.

00:05:40: Also ich kann euch bei mir rufen auch viele Politiker an und sagen, hey kannst du mir mal helfen das einzuordnen was ich dann auch super gerne mache.

00:05:45: Das ist ja unser Job.

00:05:47: aber der entscheidende Punkt ist dass die Welt so ein Stück weit jetzt wach geworden ist.

00:05:52: wenn wir uns weder in der Forschungslandschaft noch bei uns im BSI sind wir davon wirklich überrascht worden?

00:05:57: Das ist alle höchstens eine Frage von des Zeitpunkts.

00:05:59: vielleicht kam es noch ein Ticken früher als man dachte Aber das Maschinen die programmieren können Und die Schlussfolgerungen schaffen am Ende des Tages ein solcher Moment kommen würde, in dem Maschinen auch in der Lage sind Schwachstellen zu finden und einen Weg dahin für die Ausmehr zu solche Schwachstellen zu produzieren liegt nah.

00:06:21: Es liegt wirklich sehr nah.

00:06:22: deswegen also überrascht hat uns das in der Form erst mal nicht Und ich erwarte dass alleine dadurch diese Tools jetzt in der Welt sind.

00:06:29: Ich würde es erstmal genau so formulieren Dadurch dass sie jetzt in den Welt sind wird das Davon gehe ich aus die nächsten Jahre, was das Thema Schwachstellen-Ausnutzung angeht.

00:06:38: Durchaus auch holprig werden im Bereich der Cyber Sicherheit.

00:06:43: Wir stellen uns da schon auf raus Wetter ein Das muss man definitiv so sagen Zumal im Moment der Zugang zu solchen System in den USA vorhanden ist.

00:06:53: Wir haben jetzt auch gewisse Möglichkeiten hier in Europa, dass es auch nicht die Frage Wir haben wenig Einblick da rein, was in China im Moment passiert.

00:07:02: Wir gehen aber auch davon aus, selbst wenn vielleicht noch ein bisschen Rückstand aufzuholen ist, dass dort ähnliche Fähigkeiten in Haar-Zukunft auch existieren werden und in dieser Welt müssen wir uns jetzt bewegen.

00:07:14: Jetzt ist es natürlich eine reine Frage der Zeit bis entsprechend kriminelle Gruppen ob nun staatlich unterstützt oder durch irgendwelche Hex und Klaus von irgendwelchen Modellen dann plötzlich auch in die Lage versetzt werden, so etwas zu tun.

00:07:28: Wir werden an diesen Punkt kommen.

00:07:29: mit dem müssen wir umgehen.

00:07:30: das heißt ich gehe davon aus dass sie sehr viel mehr Angriffe über Schwachstellen nahezu kurz haben werden und wir gehen davon aus, dass die Zeit zwischen man hat eine Schwachstelle gefunden und sie wird auch ausgenutzt sich wirklich massiv verkürzen wird und das stellt natürlich Anforderungen uns und die Frage wie wir da verteidigen.

00:07:50: Jetzt hat Entshorpec dieses Modellen-Mysos ja nur in einer kleinen Gruppe zur Verfügung gestellt.

00:07:55: Ist nicht so ganz genau klar, hattet ihr denn auch mal die Chance das auszutesten und kannst du es vielleicht mal konkret machen?

00:08:05: Was kann dann dieses Modell an Schwachstellen identifizieren was vielleicht ein Vorgängermodell nicht konnte?

00:08:12: Also zunächst einmal für diese Modelle gilt sehr klar man muss als allererstes mal lernen damit umzugehen.

00:08:19: Also jeder, der versucht mit KI zu programmieren kennt das Phänomen.

00:08:23: Die macht nicht immer das was man jetzt erwartet hätte bis man dann sozusagen an einem Punkt ist wo man wirklich produktiv ist.

00:08:29: da muss man auch ein bisschen Zeit für aufwenden und auch dann muss man verstehen was kann der KI?

00:08:33: Was kann sie nicht?

00:08:34: also wo muss auch der Mensch da selber noch rein?

00:08:36: wie sind die Orchestrierungsformen und ähnlich?

00:08:38: und so ist es hier tatsächlich auch.

00:08:40: Das heißt, jemand der so eine KI nutzen möchte um Schwachstellen zu finden und das ist jetzt egal ob das Angreifer oder Verteidiger ist braucht ein bisschen Übung.

00:08:50: Und diese Übung ist wichtig und erst wenn man sozusagen in der Lage ist mit einem Modell auch vernünftig umzugehen dann kommt die entscheidende Frage Wie gut muss das Modell denn sein?

00:09:01: Wann stoße ich dann an Grenzen?

00:09:03: Und wir stoßen da schon an Grenz mit den bisherigen Modellen, weil wir einfach auch ein bisschen Übung darin haben.

00:09:08: Es gibt auch einige Firmen, die da ziemlich gut drin sind – ist gar nicht die Frage!

00:09:11: Also es gibt schon ein paar Menschen, die das auch gut können und vor allem auf der Verteidiger-Seite und da freue ich mich auch drüber... Nichtsdestotrotz ist die Frage, welches Modell man verwendet eine weiter hinten liegende.

00:09:22: Man kann auch mit weniger guten oder älteren Modellen schon sehr viel erreichen.

00:09:28: Und zum Thema wie es um den Zugang aussieht ziehe ich mich jetzt auf einen keinen Kommentar zurück was ich definitiv sagen kann wir sind in einem sehr engen Austausch und auch kontinuierlichen Austauschen mit Anthropic und auch mit anderen Firmen.

00:09:41: da sind wir nicht die einzigen und das ist gut so und wir tun uns zusammen zu überlegen Möglichkeiten, die da sind gut für uns nutzen.

00:09:49: Um möglichst gut diese Fähigkeit KI für den Schutz zu nutzen auch aufzubauen und das bitte auf der Ebene eines ganzen Landes?

00:09:59: Nun sieht man ja dass die Modelle gefühlt immer schneller besser werden.

00:10:04: also die Abschände zwischen zum neuen Release, sie werden hier immer kürzer und die Modellen werden werden immer besser.

00:10:10: Wohin geht es denn?

00:10:12: Also wie schnell entwickelt sich das denn aus einer Sicherheitsperspektive?

00:10:17: Sind denn die Angreifer schneller oder die Verteidiger schneller?

00:10:21: Wie würdest du das im Moment betrachten, ist das eher etwas was den Angreifern in die Hände spielt.

00:10:28: Also unsere gegenwärtigen Strukturen sind wenn wir davon ausgehen dass beide Seiten Zugang zu Hochleistungsmodellen haben erstmal im Vorteil.

00:10:37: Aus dem einfachen Grund müssen sich ja gar keine Regeln halten.

00:10:41: Die haben eine sehr arbeitsteilige Arbeitsteilige Form der Zusammenarbeit.

00:10:49: Da gibt es dann jemanden, der besorgt den einen Teil, jemanden besorgt dem anderen Teil.

00:10:52: das ist sehr modular, der eine macht ich weiß nicht ne Verschlüsselungssoftware Der nächste besorgt Schwachstellen wie da jemand anders besorgt credentials und hier wäre dann dieser teil der quasi schwachstellend besorgt in Anführungstrichen und den exploit gleich zuliefert plötzlich in der Lage sehr sehr leistungsfähig auch zu liefern.

00:11:09: Und da gelten keine Regeln.

00:11:10: Da gibt es keinen Gesetz, dass sie daran hindert zumindest in manchen Staaten nicht.

00:11:14: ganz im Gegenteil der wird im Zweifelsfall sogar staatliche Seite entsprechend unterstützt.

00:11:19: während bei uns wir müssen durch diverseste Regelwerke durch Wir haben je nachdem wo wir unterwegs sind Patchzeiten oder Einspielzeiten von neuen Versionen von mehreren Monaten also der Klassiker neunzig Tage bis dann etwas, bis eine Umgebung hochgefahren ist auf dem man was testen kann.

00:11:36: Bis die Genehmigungen alle da sind und die Freie Gaben.

00:11:39: Bis diese Tests so durchgelaufen sind das vielleicht auch, ne?

00:11:41: Man nicht gefahrläuft dass man die Benutzer jetzt irgendwie vergretzt oder gar ein kritischer Geschäftsprozess irgendwo hinten runter fällt wenn man was ungetestetes nach draußen gibt oder nicht hinreichend getestetes.

00:11:52: Die Probleme haben die alle nicht Selbst wenn bei denen von tausend Versuchen neunhundert, neuneinzehnte Schiefgehen der eine hat sich gelohnt und das Thema ist durch.

00:12:02: Da gibt es nicht diese Regeln an die sie sich halten müssen.

00:12:04: Das heißt, die haben Stand heute einen echten Geschwindigkeitsvorteil und da hilft ihnen auch einer KI nochmal deutlich was wir jetzt lernen müssen.

00:12:13: Was wir lernen müssen, ist nicht nur unsere Patch-Zyklen zu verkürzen soweit das nur irgendwie geht sondern wir müssen vor allen Dingen auch lernen mit diesen Tools proaktiv sozusagen unsere Schwachstellen zu finden bevor es andere tun.

00:12:26: Alleine in der Tatsache dass wir sehr verteilt jeder an seinem eigenen arbeiten kann haben eine gewisse Skalierung die wir nutzen können.

00:12:33: Und der zweite Punkt, der mir dann auch wichtig ist.

00:12:36: Wir müssen definitiv schauen wie sehen Technologien aus in denen ein Stück weit so auch diese Update, diese Selbstheilungsfähigkeit einstückweit automatisch passiert?

00:12:47: Da kommen wir mit den derzeitigen manuellen Prozessen nicht hinterher.

00:12:51: also hier ist jetzt ein ganz ordentlicher Automatisierung und Digitalisierungs Schritt auch in der Verteidigung dringend geraten.

00:12:58: Wie ist das in Sachen Forschung?

00:13:00: Kann das vielleicht ein Wettbewerbsvorteil sein.

00:13:02: Wir sind ja in Deutschland, wir sind Europa und in den USA sind wir ganz gut weltweit in Sachen Cyber Security Forschung.

00:13:10: Hilft das vielleicht so ein bisschen den anderen voraus zu sein?

00:13:16: Also ich glaube, dass es helfen kann.

00:13:17: Aber da ist dann immer wieder der Punkt mit gerade in Deutschland – wir müssen es schaffen aus guten Ideen in den Universitäten Produkte zu machen die wirklich helfen.

00:13:25: Der Klassiker und

00:13:27: der treibt mich auch seit Jahren um!

00:13:29: Ich weiß das ihr großartige Ideen habt und ich will, dass da Produkte draus werden.

00:13:34: Ich will das wieder erfolgreich tun werden und ich glaube dass da ganz viel ginge.

00:13:38: aber wir schaffen es zusehlt Ideen aus der Forschung in Produktreife zu kriegen und insbesondere dann die Skalierung zu schaffen.

00:13:46: Und da muss dringend noch was passieren, ich glaube es könnte ein Vorteil sein.

00:13:51: Im Moment wird er definitiv noch nicht genug genutzt.

00:13:53: das glaube ich kann man durchaus festhalten Wo Forschungen auf jeden Fall glaube ich nochmal einen riesigen Einfluss haben wird.

00:13:59: aber das wisst ihr wirklich besser als ich.

00:14:01: Mutmaß jetzt müssen wir widersprechen.

00:14:02: wenn ich Blödsinn erzähle ist bei der Frage wie entwickelt sich Kairin eigentlich weiter?

00:14:07: Also die Modelle mit denen ja im Moment gearbeitet wird, sind ja wahrscheinlich noch nicht das Ende der Weisheit.

00:14:13: Man arbeitet auch an energiesparenderen Modellen, an welchen die vielleicht eine größere Aufmerksamkeitsspanne haben und ähnliches.

00:14:20: Und wo sich das hin entwickelt?

00:14:21: Das wird glaube ich auch nochmal ein Game Changer löst aber das grundsätzlich Problem in der Cyber-Sicherheit nicht.

00:14:26: Wir werden unsere Hausaufgaben machen müssen.

00:14:29: Und bei manchen Sachen, wenn es nämlich darum geht ich sage mal eine Netzwerksägmentierung zu machen der werdet ihr uns in der Forschung leider auch nicht helfen können.

00:14:36: das ist ganz blöde Handarbeit wo man echt durch muss und wo man seine Strukturen so aufstellen muss dass die eine gewisse Widerstandsfähigkeit auch von haus aus mitbringen.

00:14:45: Genau, so ist es.

00:14:46: Und häufig gehen die besten Forscher jetzt ja genau zu OpenAI, zu Entropik und

00:14:50: Co.,

00:14:51: und werden dann mit Asthokos...

00:14:52: Und sie zurück?

00:14:54: Ja, du kennst die Gehaltsstrukturen an den deutschen Universitäten.

00:14:57: Ich glaube Peter Steinberger war glaube ich eine Milliarde US-Dollar, war das Gehalzpaket für das er zu Open AI gegangen ist.

00:15:07: da kommt das BSI und die TU Darmstadt leider nicht mit.

00:15:12: Nicht ganz!

00:15:14: Aber ganz ehrlich, ich sage auch immer Gehaltspakete hin und her.

00:15:17: Ich bin ja auch da!

00:15:18: Ihr seid auch da?

00:15:19: Und ja, ich sag auch Scherz halber immer... Es ist nicht die Bundesreisekostenrichtlinie, die mich hier sein lässt.

00:15:25: Das sind schon andere Themen.

00:15:28: aber so ein paar Menschen, die was drauf haben, die haben wir schon auch Auch wenn ich der Meinung bin, dass wir in diesen Strukturen dringend etwas ändern müssen um da mehr Durchlässigkeit auch hinzubekommen und die Spitzenkräfte zu ziehen.

00:15:40: Das ist jetzt keine ureigenste BSI-Aufgabe, das ist trotzdem meine Meinung.

00:15:43: Nichtsdestotrotz schaffen wir es doch immer noch wirklich gute Leute dafür zu begeistern, das Richtige zu tun und das ist auch gut so!

00:15:50: Wenn du dir anschaust woher die Angriffe kommen hat KI das irgendwie verändert oder sind dieselben bösen Jungs von vor fünf Jahren?

00:16:02: Also die bösen Jungs von vor fünf Jahren sind heute einfach besser aufgestellt, sagen wir es mal so.

00:16:07: Was sich definitiv verändert hat ist... Wir haben alle noch diese Vorstellung von dem Hacker im Hoodie unten im Keller mit einem großen Stapel der Rapizza-Kartons Es riecht auch schon ein bisschen müffelig und eine Cola Flasche nebenan, sondern eine Fünf Liter Flaschen.

00:16:22: Das ist so die Vorstellung, die man noch hat.

00:16:23: Die ist einfach überholt, die gibt's nicht mehr.

00:16:26: Den mag ich zum Einzelfall noch geben aber der ist inzwischen Teil irgendeiner organisierten Verbrecherbande.

00:16:31: Also man muss sich ganz klar machen, das sind Kriminelle.

00:16:33: Das sind organisierte Verbrecherbanden und das ist halt der Teil, der sich mit Cybercrime beschäftigt also Angriffe und Hacker-Angriffe vor Profit wirklich für den schnöden Euro oder was auch immer die passende Währung ist Und dass wird inzwischen halt angereichert um eine staatliche Komponente was über Cybercrime hinausgeht mit einer politischen Motivation, wir nennen das Cyber-Konflikt.

00:17:02: Das heißt hier wird wirklich im Spannungsfeld dieser geopolitischen Situation auch über solche Gruppen dann Zwietracht gesät, Desinformation jede Menge Cyber-Angriffe, teilweise immer noch vor Profit.

00:17:20: Das ist dann ganz wunderbar wenn man dann gleichzeitig noch ein bisschen Geld damit verdienen kann Wenn man seinen vermeintlichen Gegner schwächt und das alles halt unterhalb dieser echten Konfliktschwelle aber doch sehr sehr sehr aggressiv.

00:17:33: Und dass nennen wir es Cyber Conflikt hat sich definitiv verendet im lauf der letzten Jahre.

00:17:37: Es ist deutlich mehr geworden Und wenn ich jetzt gerade dabei bin.

00:17:40: da muss Ich noch die dritte Dimension sagen mit dem uns mal beschäftigen müssen?

00:17:44: Das ist einfach die Tatsache, dass wir jede Menge Produkte verwenden auf die der Hersteller nach dem wir sie gekauft haben trotzdem weiterhin Zugriff hat.

00:17:54: Und das würde ich bei Design zu feature also Beispiel ganz banal klauz.

00:18:00: da ist der Diskussion bis die Diskussion ja immer dar.

00:18:03: Der Hersteller hat weiterhin auf irgendeine Art und Weise Zugriff, wenn man das nicht entsprechend unterbindet.

00:18:07: Kann man aber auch für Autos denken oder für Betriebssysteme?

00:18:11: Oder für Satelliten oder für Fünf-G sechs-G.

00:18:14: Die Liste ist lang ihr könnt es euch vorstellen.

00:18:17: also die Abhängigkeiten des Abhängigkeiten.

00:18:18: Management ist die dritte Dimension mit der wir uns hier auch noch beschäftigen müssen.

00:18:23: Spannend, ich will da mal an Holger's Frage anschließen.

00:18:25: So nach dem Motto Attacken von den bösen Jungs und du hast ja gesagt die sind hoch professionell das sind nicht mehr die Jungs im Hoodie mit einer Cola Flasche.

00:18:35: Nun bin ich kein Cyber Security Expert aber was was ich nicht verstehe ist woher weiß man eigentlich wo diese Angriffe herkommen?

00:18:42: also ich bin der Meinung wenn jemand keine Ahnung aus einem bestimmten Land in China oder was weiß ich wie?

00:18:48: In der Lage es einen komplexen Angriff zu fahren dann wird er da wahrscheinlich auch in der Lage sein, die Spuren zu verwischen.

00:18:55: So Laienintuition ist das jetzt eher...

00:18:58: Ja, das ist definitiv auch so!

00:19:00: Also wir werden besser im Aufspüren, die werden besser beim Verwischen und dann werden wir wieder besser am Aufspürn, die haben wir besser bei Induktion.

00:19:09: Aber der für mich wichtige Punkt an dieser Stelle ist oder was dazu zu sagen gibt es einfach?

00:19:14: Es gibt gewisse Muster Es gibt gewisse Muster, an denen erkennst du wie die vorgehen.

00:19:20: Das sind Verhaltensmuster, das sind vor allem Netzwerken-Muster, dass sind Themen wie welche Software dafür eingesetzt wird.

00:19:26: da hat man schon sehr schnell ein gewisses Gefühl dafür wo der was herkommt welche Bordnetze verwendet werden.

00:19:31: Da hat man dann meistens eine ganz gute Idee wo das her kommt.

00:19:34: Also wir haben schon ein ziemlich gutes Gefühl.

00:19:37: es gibt auch Fälle da wissen wir es tatsächlich nicht Aber meistens haben wir ein ganz gutes Gefühl.

00:19:41: Jetzt muss man aber auch wissen, zumindest in Deutschland ist für eine offizielle Attribuierung also zu sagen das war das und das Land ist bei uns das auswärtige Amt zuständig.

00:19:52: die nehmen dann noch ein paar mehr Dinge ins Kalkül ob man das jetzt tut nämlich ein paar politische.

00:19:58: Wir versorgen sie quasi mit unserer technischen Einschätzung Und wir sagen denen auch so da sind wir uns doch sehr sicher und hier sind wir nicht ganz so sicher.

00:20:05: Also wie sind da sozusagen nicht ganz vorne?

00:20:07: Das ist aber auch gut so.

00:20:11: Nun hat ja, wenn man mal auf die Unternehmensebene geht und hat ja jedes Unternehmen oder fast jedes Unternehmen heute irgendwie Cloud, Co-Pilot, ChatGPT oder ähnliches im Einsatz.

00:20:22: Vieles davon läuft natürlich in der Cloud meistens in der cloud in Amerika.

00:20:29: wie verändert denn sag ich mal diese neue Nutzung von KI-Modellen, die ja doch sozusagen flächendeckend mittlerweile fast eingeführt ist.

00:20:38: Wie verändert das die Sicherheitslage?

00:20:40: Ist es für euch jetzt nochmal deutlich schwieriger geworden weil viel mehr Menschen sozusagen dass jetzt nutzen?

00:20:48: öffnet das Einfallstore, die ihr bisher so nicht gesehen habt oder die bisher nicht so breit waren?

00:20:54: wie verändert das sozusagen auch eurer Arbeit und damit die Verteidigungsrichtlinien der Unternehmen.

00:21:03: Was man auf jeden Fall sagen kann, es gibt Diverses was man beachten muss wenn man KI's als Hersteller zur Verfügung stellt und die Frage wie man KI Systeme absichert ist definitiv eine die uns umtreibt.

00:21:15: Also wie gut ist ein System gegen Prompt Injection?

00:21:17: Also quasi irgendjemand, der da bösartige Befehle darin absetzt geschützt.

00:21:21: Oder wie gut is es so'n System gegen Jailbreaking geschützst?

00:21:26: also die Frage mit kann ich dem der KI Informationen entlocken, die ich hier nicht entlockern können sollte?

00:21:33: Also das sind Fragen, die uns definitiv umtreiben.

00:21:35: Also die Sicherheit von KI-Systemen.

00:21:38: Jetzt muss man aber auch sagen... also viele der Unternehmen, die da dran sind, sind sehr groß.

00:21:42: Die haben auch entsprechende Möglichkeiten, auch in das Thema Sicherheit zu investieren.

00:21:46: Das tun sie mal besser, mal schlechter.

00:21:49: Will ich jetzt gar nicht allzu sehr etwas dazu sagen?

00:21:52: Aber der entscheidende Punkt ist, da wird schon ein bisschen was gemacht!

00:21:56: Das muss aber flächendeckend funktionieren.

00:21:59: Der zweite Aspekt, der mich dabei umtreibt ist natürlich der, dass wir ein Stück weit doch sehr viel Informationen preisgeben wenn wir Fragen stellen.

00:22:11: Und das gilt für Privatmenschen also das geht tief in die Gedankenwelt hinein in dem Moment wo ich anfange mit einem Chatbot zu unterhalten und für Firmen nicht minder dramatisch wenn sie anfangen diese tools für im prinzip ihre chronio wählen nämlich das wissen in ihrer firma zu verwenden und dass damit preis geben weil das wiederum ist natürlich auch das was solche maschinen dann wieder füttert.

00:22:41: so das ist eine blöde situation weil wir idealerweise natürlich gute modelle verwenden wollen die besten modelle verwendet wollen.

00:22:49: die haben wenig alle europa.

00:22:50: Deswegen ist meine These, das jetzt keine BSI-Tese sondern eine Claudia-Tase.

00:22:55: Meine These an der Stelle.

00:22:56: wir müssen da wirklich digital erfolgreich werden und dass auch definitiv bis auf Foundation Models wirklich runtergebrochen auch diese Fähigkeit in Europa haben.

00:23:07: ich glaube wir werden gar nicht drum herumkommen weil die Frage wie viele von unserem Wissen ob nur von Privatleuten oder von Firmen auf dieser Art und Weise ein Stück weit in anderen Händen landet Die können wir uns eigentlich und wollen wir uns glaube ich auch nicht leisten.

00:23:23: Nichtsdestotrotz, das ist immer mit die Situationen mit der müssen wir umgehen.

00:23:28: Das ist eine ganz andere Frage, als die sich gegen ein Hacker abzusichern.

00:23:32: Das ist ne völlig andere Dimension über die man da sprechen muss.

00:23:34: Auch eine politische und wirtschaftspolitische Dimension.

00:23:37: das ist jetzt wie gesagt keine ureigendste BSI-Aufgabe.

00:23:40: deswegen habe ich gerade gesagt sage ich mal als Claudia Als BSI kümmern wir uns ganz stark darum Wie können wir sicherstellen dass solche Systeme gut abgesichert sind?

00:23:49: Und da formulieren wir auch Anforderungen.

00:23:51: Ach und der werdet ihr wahrscheinlich in nächster Zeit noch bisschen was von uns hören Da sind wir natürlich mit Hochdruck dran.

00:23:57: Dann frage ich nochmal Claudia und nicht die BSI-Chefin.

00:24:00: Aber wenn ich in einem Unternehmen doch die Office-Produkte nutze, Word, Excel Powerpoint, Outlook, E-Mail vor allen Dingen und betreibe das in der US-amerikanischen Cloud ist da so ein großer Unterschied im Vergleich zu ob ich Sprachmodelle, GPT-Five

00:24:19: etc.,

00:24:20: in der Cloud nutze?

00:24:20: Ich meine in der Mail stecken ja auch sehr, sehr viele Dinge drin die wir so austauschen wie wenn ich preisgeben wollen.

00:24:28: Wenn ich das alles ungeschützt tue und einfach nur blind darauf vertraue.

00:24:31: sicher, wenn ich mir die Mühe mache die Sachen vernünftig zu verschlüsseln mit entsprechenden Mechanismen die es auch gibt zu arbeiten dann nicht also an der stelle bin ich da auch sehr klar wenn man sich seine Daten einfach wegnehmen lässt dann ist einem halt da auch nicht technisch zu helfen.

00:24:48: ja dass muss man halt auch machen.

00:24:51: Den Invest muss man machen.

00:24:52: Die Mechanismen gibt es, es gibt die Möglichkeit auch amerikanische Clouds zu verwenden, auch welche hier in Europa operieren mit zusätzlichen Souveränitätskriterien noch ausgestattet bei denen ich mich selber darum kümmern kann.

00:25:05: diese Mechanismus gibt sich kann die Sachen verschlüsseln Ich kann mein eigenes Keymanagement machen aber ich muss das halt tun.

00:25:10: und da blauäugig reinzugehen ist wahrscheinlich nicht die beste Empfehlung Aber da lässt sich schon einiges mitmachen.

00:25:19: Braucht man da nicht eine Menge KI Know-How oder Cyber Security?

00:25:23: Know-how wäre jetzt das bessere Wort gewesen, wenn ich mal an so ein mittelständisches Unternehmen denke?

00:25:28: Du hast gerade nach Klaus gefragt.

00:25:29: Also die Antwort war für Klaus, für Kais ist es nicht ganz auf jeden Fall.

00:25:33: Ah okay dann haben wir einen bisschen anderen.

00:25:35: Ja ja jetzt haben wir's.

00:25:36: Eine

00:25:37: KI-Anfrage für Schlissen bringt nicht so richtig viel, wenn ich die KI dazu brauche um die Frage zu beantworten.

00:25:42: Die muss sie entschlüsselt haben.

00:25:43: das ist ja klar.

00:25:45: und wenn ich mir auf Dokumenten arbeiten will... ...die Dokumente kann ich wieder hier lassen da lässt sich wieder was tun.

00:25:50: aber auch das könnt ihr wahrscheinlich alles viel besser beantwortet als ich.

00:25:53: Aber da lässt es sich schon etwas mit machen, aber wie setzt sich das so auf?

00:25:59: Das wirklich die Informationen bei mir bleiben und ich die Sprachmodelle so verwende, dass sie eben halt nicht den Zugriff auf meine Daten haben.

00:26:06: Sondern eben das sozusagen hier passiert?

00:26:09: da lässt sich durchaus einiges mitmachen.

00:26:10: muss man aber tun oder es ist halt so herrlich bequem einfach den Service einzukaufen und zu sagen mach mal das verstehe ich alles Aber das geht nicht zumindest dann nicht wenn ich Mir ganz sicher sein will dass egal unter welchen Umständen egal was noch passiert die Daten auch wirklich bei mir bleibt.

00:26:30: Wir haben jetzt gerade die Gründung des AI Security Instituts miterlebt, die irgendwie virtuell zwischen BSI und Bundesnetzagentur aufgehängt werden soll.

00:26:43: Es war so ein bisschen unklar, was das bedeutet.

00:26:46: Kannst du uns ein bisschen mehr dazu erzählen?

00:26:49: Was wir uns darunter vorzustellen haben, was dieses neue Institut denn leisten soll und wann es damit der Arbeit anfängt?

00:26:57: auch das ist eine Frage die zeitlich ist.

00:27:00: ich glaube die Briten haben sowas schon ein paar Jahre so ein Institut.

00:27:03: wie ziehen da jetzt nach?

00:27:05: Wie schnell kommt es?

00:27:06: was soll es können?

00:27:08: ja Also ich hätte jetzt erst mal gesagt am liebsten gestern, also schnell ist die Antwort.

00:27:13: Was soll es können?

00:27:15: Das Wichtigste für uns ist dass wir jetzt schnell loslegen und uns in diesen internationalen Verbund dieser Institute einklinken.

00:27:22: das plan wie übrigens den Gedanken haben wir schon länger und Vorbereitung gibt's auch schon ein bisschen länger.

00:27:29: Das machen wir jetzt und das machen wir zunächst einmal In genau dieser Konstellation, die du gerade auch gesagt hast – damit fangen wir an.

00:27:36: Aber das wird sich schnell verbreitern!

00:27:42: Das ist keine reine Behördenangelegenheit.

00:27:44: Da brauchst Du definitiv Wissenschaft mit drin, da brauchst du große Köpfe mit drinnen... ...da brauchste auch große Köpfe, denen du auch dreieinfünfzig mehr bezahlen kannst….

00:27:53: also wir werden da definitiv deutlich breiter denken müssen.

00:27:56: Und es war jetzt aber wichtig, weil wir entsprechend auch die Vorarbeiten da jetzt schon gemacht hatten und zwar sehr wichtig jetzt hier schnell in dieses Doing zu kommen, um schnell uns da entsprechend doch einklinken zu können.

00:28:08: Wir haben hier gut überzeugen können mit dem was auch wir als BSI können.

00:28:13: also auch in Gesprächen mit Firmen können wir durchaus sagen hey!

00:28:17: Hier seid ihr gut aufgehoben Auch wenn Deutschland noch nicht diese offizielle Gründung hat.

00:28:22: das wollen wir jetzt aber auch entsprechend nachziehen.

00:28:24: Wir haben aber ganz klar erklärt den Ziel mit allen Beteiligten da auch wirklich nochmal größer zu denken.

00:28:30: Aber wir fangen jetzt an und ich sage immer, jeder Reise beginnt mit dem ersten Schritt und das ist jetzt der.

00:28:37: Was sind die Aufgaben dieses Instituts?

00:28:39: Also was konkret soll es leisten wenn es denn mal da ist?

00:28:45: hoffentlich gut aufgestattet mit guten Leuten und genügend Geld um das leisten zu können, was es zu tun

00:28:51: hat?

00:28:51: Wir haben ein paar ganz gute Leute und Geld kann man immer brauchen, das ist klar.

00:28:54: Man kann auch immer noch mehr gute Leute brauchen.

00:28:56: aber wie gesagt wir wollen es auch noch anreichern und weiterentwickeln.

00:29:00: was soll es tun?

00:29:00: Es soll auf jeden Fall in der Bewertung von neuen Modellen helfen die einzuschätzen also insbesondere sich zu belegen welche Fähigkeiten haben sie jetzt?

00:29:11: Was bedeutet das für uns?

00:29:14: Wie müssen wir uns dazu aufstellen?

00:29:16: Also die Bewertung, zunächst auch mal den Bewertungsverfahren dafür auch ein Stück weit festzulegen und das gerne im internationalen Verbund.

00:29:23: Wir müssen keine Räder neu erfinden.

00:29:24: Wenn man solche Bewertungen dann hat, dann müssen sie ja auch an die richtigen Stakeholder also hier eine entsprechende Beratung auch zu machen.

00:29:30: Hey Leute!

00:29:30: Die wälzen übrigens jetzt so und so aus Dafür zu sorgen ist Entscheidungsträger auch die richtige Informationen an der Stelle haben Dass man diese Information verbreitern kann bis hin zu ganz konkreten Projekten oder Aufträgenden auch erfüllt werden sollen also ganz grob das Portfolio abgesteckt und das ist aber auch erst der Anfang.

00:29:49: Wie gesagt, muss man Stück für Stück dann erweitern?

00:29:53: Noch mal so ein Stück weit in Richtung Politik.

00:29:56: Der Bundesinnenminister Alexander Dobrindt hat neulich einen Cyberdome gefordert und ich glaube, dass der ist ja auch bei euch gelandet im Sinne, dass ihr den umsetzen dürft.

00:30:07: Kannst du uns an den Höreren vielleicht mal erzählen was dahinter steckt und spielt da auch KI eine Rolle dabei?

00:30:14: Also ja und ja, kann ich euch sehr gerne erzählen?

00:30:17: Und ja das spielt auch keine Rolle.

00:30:19: Klar also worum geht es?

00:30:21: die Grundidee ist eigentlich ganz einfach wir wollen dafür sorgen dass möglichst viele Angriffe ihren ihr Opfer überhaupt erst gar nicht mehr erreichen.

00:30:30: so Das ist die Grund Idee.

00:30:32: und dazu ist so die Vorstellung.

00:30:34: man baut da so ein Dom so eine Kuppel da oben drüber, die da ein Stück weit das Ganze von vornherein abfängt.

00:30:41: Da kommt gar nichts mehr unten dran.

00:30:42: So

00:30:43: klingt es erst mal gut?

00:30:43: So

00:30:45: klingt erstmal super!

00:30:46: Die Idee an sich ist erst einmal, schwitzenklasse kann man mitarbeiten.

00:30:49: Es ist tatsächlich so dass wir sagen, wir müssten dann mal das Grundrauschen rauskriegen.

00:30:54: Was heißt denn das?

00:30:55: Ich gebe mal so einen Beispiel, damit man sich ein bisschen vorstellen kann.

00:30:59: Stell dir vor Deiner Hausbank.tv ist eine Domäne, die gerade neu registriert wurde Deine Hausbank, darfst du dir eine aussuchen welcher man es ist.

00:31:10: War das aber gar nicht mit dieser neuen Domäne meinehausbank.tv?

00:31:13: Dann fragt man sich was wollen die denn damit?

00:31:17: und dann liegt natürlich die Frage oder die Vermutung nach, mal gucken was sie mit dieser Domänen machen insbesondere vielleicht werden irgendwelche Fishingseiten aufgezogen oder ähnliches oder Mellware verteilt also Menschen hingelockt und dann sozusagen hier betrogen.

00:31:32: Naja, wenn man das merkt dann kann man so eine Seite.

00:31:36: Das dürfen wir auch, dann entsprechend auch umleiten und sagen ne da kommt jetzt auch keiner mehr hin.

00:31:40: Das können wir mit den Internet Service Providern zusammen machen oder mit den Domain Registries, dass geht.

00:31:46: So, das machen wir auch ist aber ich sage mal Manufaktur, das ist ein eher manueller Prozess Und eigentlich geht es darum hier ganz schnell sowas völlig automatisiert zu machen braucht im Prinzip eine Sensorik, die erkennt das da was ist.

00:32:02: Das braucht eine Analyse, die sagt hey!

00:32:05: Da muss man mal genauer reinschauen und daraus auch eine Aktion vorschlägt, die dann auch automatisch ausgeführt wird.

00:32:10: in so einem Fall würde man bestimmt als Mensch noch einmal drauf gucken.

00:32:13: aber den Rest kann man da automatisch machen und damit würde einer solche Fishing-Seite die Benutzer gar nicht mehr erreichen.

00:32:21: Und das ist eigentlich die Idee.

00:32:23: Wir haben noch sehr viel mehr an Beispielen, wo wir sagen da können wir was tun.

00:32:27: Wir denken darüber nach oder machen wir auch jetzt schon und weil es wird jetzt nochmal erweitert auch größere Mengen wirklich an IP-Adressen vorbei zu surfen sage ich mal also ganz klassische Scans zu machen glaubt mir das machen die Angreifer jeden Tag Und einfach zu gucken, hey sind da ganz offensichtliche Schwachstellen bei dem was man dann zurückbekommt.

00:32:48: Zum Beispiel eine völlig veraltete Version von irgendeinem Web-Server oder etwas Ähnlichem.

00:32:52: Das ist ja vergleichbar mit... Man fährt mal beim Auto vorbei und guckt wie die Tür offen steht.

00:32:57: Wenn die Tür auf den steht, sagt man demjenigen bei denen die Tür open steht vielleicht auch mal Bescheid.

00:33:02: So das ist auch wieder so ne Sache wenn er kennt was man merkt dass es etwas wo man was tun kann.

00:33:08: und dann wäre hier die automatische Benachrichtigung, auch der nächste Schritt.

00:33:11: Das wollen wir tun mit möglichst vielen solcher Use-Cases.

00:33:15: Wir haben jetzt schon einige gesammelt Und das wollen wehtun um einfach so ein Grundschutzniveau da reinzubekommen Um möglichst viel von vornherein ja einfach mal abzuwehren und das wollen wir aufbauen.

00:33:28: Ich bin nicht bös, dass wir diesen Auftrag gekriegt haben gar nicht weil ich der festen Überzeugung bin Wir müssen das Thema Cyber Sicherheit deutlich mehr automatisieren automatisieren, industrialisieren digitalisieren und das ist aus meiner Sicht die perfekte Gelegenheit wirklich auf der Scala eines ganzen Landes zu machen.

00:33:47: Da freue ich mich darauf, da ganz viele engagierte Kollegen.

00:33:50: Wir werden uns da richtig reinhängen und hoffen dass es gut wird.

00:33:54: wir werden alles für tun auch nicht nur aus dem eigenen Saft sondern definitiv mit Partnern mit ganz viel Public-Private Partnerships.

00:34:01: Das ist nichts was eine Behörde alleine kann und sollte Sondern hier in die Zusammenarbeit gehen.

00:34:07: Letzte Frage geht auf ein Thema, dass das sozusagen ja lange Zeit am Horizont war und jetzt aber irgendwie gefühlt immer näher kommt nämlich Quanten Computing.

00:34:16: Und man hört immer wieder von den Quantenforschern naja wenn das mal da ist dann werden die Verschlüsselungsverfahren, die wir heute alle haben in Sekunden schneller gehackt und dann ist ganz viel so zu sagen offen.

00:34:31: Wie real ist diese Gefahr, dass Quantencomputing die ganze Security-Mechanismen oder Verschlüsselungsmechanismus an dieser Stelle offenlegt und wir eigentlich wieder von vorne anfangen?

00:34:45: Oder du wieder von vorne anfängst.

00:34:47: Ich fange wieder von vorn an genau.

00:34:48: Puh, stinkt anstrengend!

00:34:50: Also... Ich halte die Gefahr oder meine Experten, die bei uns im Institut arbeiten und da sind echt richtig Klogeköpfe dabei.

00:34:58: Also wirklich Weltniveau, die da mitdiskutieren.

00:35:03: Unglaublich schlaue Leute!

00:35:04: Wir halten das für Serial.

00:35:08: Wird das über Nacht passieren?

00:35:10: Nein, KI ist auch nicht über Nacht passiert... Das war ein großes Paper, dann irgendwann in den Frühen-Zwanzigeren der ChatGPT Moment.

00:35:21: Und jetzt sind wir im Punkt wo es einen Mythos gibt.

00:35:23: Da ist schon auch eine Kurve die da hochläuft und ich bin mir sehr sicher dass das dem Thema Quantengenause sein wird.

00:35:29: Ja mit Quantencomputern kann man klassische Verschlüsselungsverfahren durchaus knacken, das is so!

00:35:34: Wir haben hiermit unseren europäischen Partnern zusammen.

00:35:38: Also wir sind ja so vernetzt.

00:35:39: auch als BSEs und ähnliche europaweit haben wir eine Empfehlung rausgegeben, die es dann auch in der Europäischen Roadmap geschafft hat.

00:35:47: Wir sagen eure wichtigsten, ja your most sensitive workloads also alles das was wirklich wichtig ist müsst ihr bis zwanzig dreißig migriert haben.

00:35:56: Das ist unsere empfehlung.

00:35:59: Das sollte man auf jeden Fall als Datum im Blick haben.

00:36:01: ob wieder mit jetzt ein halbes Jahr zu früh oder zu spät am Ende des Tages sein werden das bleibt abzuwarten.

00:36:07: Auch da seid ihr als Forscher vielleicht auch noch mal ein bisschen näher dran.

00:36:11: Ich sehe es immer so ein bisschen aus der Praxisbrille, bis es dann wirklich in die Verbreitung kommt, dauerts auch noch einen Moment und deswegen ist unsere Rat hier an dieser Stelle bis zu zweizigdreißig die wichtigsten Sachen bitte umgestellt haben, migriert haben idealerweise auch auf alte Verfahren und neue Verfahren stückweit parallel laufen lassen für einige Jahre fangt jetzt an weil das dauert, dass dauert bis man das kann, bis alles da ist was man da braucht Und im Allgemeinen dauern grundsätzlich IT-Migration immer lange, deswegen jetzt loslegen.

00:36:40: Wir haben jede Menge Material auch bei uns auf den Webseiten wo man sich bedienen kann und gucken kann was unsere Empfehlungen dazu sind.

00:36:46: Wir nehmen das ernst.

00:36:47: tut ihr es auch dann mein Leben leichter und ich muss nicht wieder von vorne anfangen.

00:36:53: klare Botschaft von Claudia Platner, Präsidentin des BSI.

00:36:57: Herzlichen Dank für deine Zeit und eine Einschätzung wie KI- und auch künftig Quantencomputing das Thema Sicherheit neu definieren!

00:37:05: Das war sehr spannend.

00:37:05: Peter Buchsmann und ich wir melden uns im August wieder mit einem neuen spannenden Thema rund um die Künstliche Intelligenz.

00:37:10: vielen Dank und bis dahin.