KI-Agenten und Sicherheitsgarantien: Franziska Boenisch über Individualisierte Privatsphäre im Maschinellen Lernen

Herzlich willkommen zu Ring der Zukunft. Der Podcast der Stiftung Werner von Siemens Ring. In diesem Podcast unterhalte ich mich mit außergewöhnlichen Persönlichkeiten aus der Forschung und der Industrie. Und heute habe ich die große Freude, Frau Dr. Franziska Boenisch zu treffen. Hallo Franziska. Hallo! Freut mich. Lass mich vielleicht zu Beginn dich erst einmal vorstellen. Du arbeitest am Helmholtz Center for Information Security hier in Saarbrücken. Du arbeitest, kann man durchaus so sagen, an einer der wichtigsten Fragen unserer Zeit, nämlich wie kann künstliche Intelligenz vertrauenswürdig werden? Und ich denke, ich weiß nicht, wie es Ihnen geht, aber da ist es wie in jeder guten Beziehung, man möchte natürlich auch diese sensiblen, vielleicht sehr persönlichen Informationen, die man so hat, in guten Händen wissen und nicht ein Gegenüber haben, was es nachher mit Gott und der Welt nachher teilt und mit welchen Methoden du daran arbeitest. Dass KI keine Blackbox mehr ist und dass es quasi zum vertrauenswürdigen Sparringspartner wird, das schauen wir uns jetzt gemeinsam an! Ich freue mich sehr auf das Gespräch und schön, dass du dabei bist. Ja, vielen Dank. Lass uns doch direkt vielleicht erst mal so dein Arbeitsfeld besser erfassen. Ähm, du arbeitest daran, dich mit sicherem, fairem und vertrauenswürdigen maschinellen Lernen zu beschäftigen. Was heißt es denn ganz konkret, wenn wir beide jetzt uns abends zu Hause mal treffen würden? Mit einer Gruppe von Freunden? Wir wollen vielleicht Sushi und die Runde fragt dich so Mensch, Franziska, was machst du da eigentlich genau? Wie kannst du das ganz einfach erklären? Tatsächlich arbeite ich an den neuesten KI Modellen, die wir haben, also Modelle wie ChatGpt oder Dali, die Text und Bilder generieren können. Ich beschäftige mich mit ganz verschiedenen Fragestellungen, wo es darum geht, dass die Modelle keinen Output herstellen, den wir von ihnen nicht wollen. Das können zum Beispiel private Informationen aus Ihrem Training sein, die sie wiedergeben oder unsichere Informationen, falsche Informationen oder, dass die Modelle auch generell das ausgeben, was wir als Gesellschaft tatsächlich als wünschenswert erachten. Jetzt stelle ich mir vor das ist ja eine große Aufgabe. Jetzt lass uns vielleicht erst einmal zu deinen Anfängen zurückgehen. Gab es da Vorbilder? Hast du schon, ich sage mal, als du Abitur gemacht hast, gedacht Ich glaube, ich möchte das mal erforschen mit dieser vertrauenswürdigen KI? Oder war dein Weg da so ein bisschen verschlängelt oder wo, wo, wie fing er an? Ja, tatsächlich fing alles an in der Oberstufe, als ich Informatikunterricht hatte, mit einer ganz wunderbaren Lehrerin, wo ich mich zumindest für das Thema Informatik interessiert habe. Aber damals, als ich Abitur gemacht habe, 2012, da war KI eigentlich noch kein großes Thema. Ich habe mich dann aber für das Informatikstudium entschieden und so mit den Jahren kam das Thema dann auf. Und meine erste Berührung mit KI wirklich war dann im Bachelorstudium, wo ich in einer Forschungsgruppe gearbeitet habe, die das Verhalten von Bienen mithilfe von KI besser verstehen wollte. Und da habe ich so Tracking Algorithmen entwickelt, die Bienen über ihre Lebenszeit verfolgen können, um daraus praktisch automatische Entscheidungen zu treffen. Und dann war ich für KI ganz begeistert und im Master hat sich dann ergeben, dass ich mich auch ganz viel für Aspekte der IT Security interessiere und hatte dann das große Glück, meinen Doktorvater zu treffen, der mir die Möglichkeit gegeben hat, diese beiden Aspekte KI und Sicherheit zu überbrücken und mich im Thema Privatsphäre im maschinellen Lernen zu engagieren. Und so bin ich praktisch dazu gekommen, einerseits Machine Learning Methoden mit andererseits IT Security zusammenzubringen. Das Wichtigste bei einem Thema ist ja immer das fragen sich unsere Hörerinnen und Hörer natürlich auch, dass sie denken ja, das Thema hört sich ganz gut an, aber “what`s in for me”? Also was hat das mit mir und meinem Leben zu tun? Ich beobachte das jetzt in den vergangenen Monaten ein riesiger Shift stattgefunden hat. Also früher haben wir alle gegoogelt, wenn wir was wissen wollten. Aber heutzutage, wenn ich so beobachte in meinem Umfeld, meine Familie, aber auch die Studenten hier, die ich unterrichte, dann sehe ich das ganz, ganz viele mittlerweile diese großen Sprachmodelle, wie Chatgpt benutzen, um Informationen über alles zu sammeln. Und da verschwimmt häufig die Grenze dessen, dass wir uns überhaupt bewusst sind, dass wir private, sensitive Informationen teilen. Wenn wir zum Beispiel das Modell fragen, wie wir eine bestimmte Krankheit heilen können oder wie wir den Streit mit unserem Freund wieder hinbekommen. All das sind sensitive Informationen, die dann mit dem Modell geteilt werden. Und oft ist es eben so, dass Informationen, die mit dem Modell geteilt sind, je nach Modell und je nach Anbieter natürlich, aber, dass diese Informationen auch wieder genutzt werden können und diese Dialoge, um das Modell weiter zu trainieren. Und einerseits ergibt das natürlich Sinn, weil das Modell mehr und mehr Anwendungsfelder sieht und dann besser wird im Reagieren. Aber andererseits sind dann natürlich auch meine privaten Informationen in diesem Modell drin. Und was ich in meiner Forschung gezeigt habe, ist, dass wir, wenn wir diese Modelle mit unseren persönlichen Informationen haben, dass die Modelle unsere persönlichen Informationen weitergeben können und eins zu eins wieder ausgeben können. Und das ist dann natürlich ein riesiges Problem für jeden Einzelnen. Aber die Frage ist, inwieweit ist das rückvollziehbar? Ja, das ist tatsächlich immer die Frage. Die wissenschaftliche Antwort wäre: Wir wissen noch nicht hundertprozentig, wie es rückvollziehbar wäre, aber es gibt ein großes Problem mit Privacy. Und das ist nämlich, alle Daten, die von mir irgendwann mal draußen sind, können nie wieder zurückgenommen werden. Und selbst wenn wir jetzt noch nicht die Methoden haben, um jede einzelne Information auf den Einzelnen zurückzuverfolgen, sind wir nicht davor geschützt, dass es in der Zukunft nicht so sein wird. Und wenn wir jetzt Informationen wie E-Mail-Adressen, Adressen, Namen usw teilen, dann ist glaube ich schon jetzt das große Risiko gegeben, dass diese einfach eins zu eins weitergegeben werden können. Mit unseren persönlichen Daten dann… Okay, jetzt wird's richtig spannend, weil wenn ich dir so zuhöre, erinnert mich das ein bisschen an das Thema Quantencomputer, wo ja auch gesagt wird, du musst eigentlich Post Quanten Verschlüsselung haben, weil auch wenn deine Systeme jetzt sehr sicher sind, sind die neuen technologischen Möglichkeiten mit Quantencomputern ja so gestrickt, dass die quasi rückwirkend dann noch mal deine Systeme hacken können. Das heißt, wenn ich jetzt unserem Gespräch, so diesem Podcast zuhöre und denke, na ja, also hier PI mal Daumen, hat man mir doch gesagt, das ist alles sicher sagst du, das könnte sich in Zukunft noch mal ändern und vielleicht ist es dann möglich mein Profil zu also viele einzelne Puzzlestücke im Internet über mich zu sammeln und sich so ein komplettes Persönlichkeitsprofil oder auch Unternehmensprofil, wissenschaftliches Profil mit allem Drum und Dran erstellen zu lassen. So ist das. Sehe ich das richtig? Genau. Absolut. Ja. Das ist ein sehr guter Vergleich. Und was wir jetzt beobachten, also diese großen Sprachmodelle, die werden ja erst mal trainiert auf allem, was im Internet ist. So, und da könnte man naiv vermuten, na gut, das ist ja dann vielleicht sowieso schon draußen, da entsteht jetzt kein zusätzliches Risiko. Aber was zusätzlich passiert, ist eben, dass die Modelle, auch wenn sie jetzt mehr und mehr mit uns interagieren, unsere Emails mitlesen, um uns dann nächste Wörter vorzuschlagen oder Antworten vorzuformulieren. Oder wir haben eben unsere privaten Chats mit den Modellen und dass das immer mehr auch ins Training rein gerät. Das heißt, das Problem wird eher größer, als dass es kleiner wird. Wie ist das für dich? Weil du weißt ja durchaus auf diese Risiken hin das Ganzen gleichsam wird deine Arbeit ja auch finanziert, teilweise von großen Technologiefirmen. Tatsächlich sehe ich keine Firma per se als böse an, sondern was ich beobachte ist, dass gerade auch in den großen Firmen, die jetzt diese Modelle entwickeln, ein großes Bedürfnis danach gibt, eigentlich sichere Lösungen zu entwickeln, weil das so per se das Business Modell nicht ist, das Vertrauen der Nutzenden zu brechen und dann mit deren Daten irgendwas zu machen, sondern wir gehen einfach technologisch so schnell voran, dass wir gar nicht wissen, was die Risiken sind. Und zum Beispiel wird meine Forschung gefördert von unseren großen amerikanischen Firmen, die auch eigene Modelle trainieren. Die wir auch alle kennen. Genau. Und die Forschung wird gefördert, um diese Risiken herauszufinden und ich arbeite dann teilweise auch sehr eng zusammen mit den Wissenschaftlern, die in den Firmen arbeiten, mit dem Privacy Team zum Beispiel, um dann eben diese Risiken zu kommunizieren und gemeinsam zu überlegen, was wir für Lösungen entwickeln können. Und das ist auch für meine Forschung besonders wertvoll. Denn häufig ist es so dass das, was im kleinen funktioniert, nicht unbedingt im Großen, funktioniert mit diesen Sprachmodellen, aber kaum jemand hat ja das Geld, ein eigenes Sprachmodell zu entwickeln. Aber das heißt, diese Kollaboration mit den Firmen gibt mir den Einblick auch zu sehen, dass das, was ich jetzt hier wirklich entwickle, für die Praxis relevant ist und also die Lösungen, die wir entwickeln, werden dann tatsächlich teilweise in die echten Workflows integriert. Und dann sehen wir direkt: wird das Privatsphärerisiko geringer oder bleibt es gleich? Und das ist ein großer Ansporn für mich, diese Kollaboration aufrechtzuerhalten. Interessant finde ich jetzt den Punkt, dass du sagst das ist ja ein sehr positives Zeichen, dass diese großen Tech Player da draußen, die ja manchmal auch so ein bisschen mit einem Fragezeichen beäugt werden, von hier aus aus Europa, dass die wirklich proaktiv eine ganze Menge Geld in die Hand nehmen, um gute Lösungen zu bauen. Kannst du mir ein Beispiel geben? Jetzt mal so dein Thema Ein, zwei Ebenen tiefer gelevelt, dieses ganze Thema Privacy Modellprüfung usw an was für Fragestellungen du mit diesen Tech Companies zusammenarbeitest? Gerne, also in einem Thema, an dem ich jetzt gerade arbeite, von dem ich total begeistert bin, ist das Thema der Memorisierung. Das bedeutet praktisch, wie sehr KI Modelle sich die Daten direkt merken, auf denen sie trainiert werden. Also was KI Modelle ja eigentlich tun sollen ist, dass sie allgemeine Pattern lernen sollen aus den Daten und dann eben allgemein Sprache herstellen oder gute Bilder generieren. Aber was eben auch oft passiert ist, dass diese Modelle einzelne Datenpunkte memorisieren, wie zum Beispiel ein ganzes Buch und das dann nachher wieder ausgeben können. Und das ist dann ein Problem, zum Beispiel für Copyright. Oder wenn das Modell jetzt meine komplette Facebook Seite auswendig lernt und das nachher wieder herausgibt, dann könnte es auch ein Risiko für Privacy sein. Und da arbeiten wir an der Fragestellung Welche Daten werden memorisiert, warum werden die memorisiert? Und ganz spannend und das ist tatsächlich im Moment auch fast nur möglich in Kollaboration mit den Firmen. Wie verhält sich das, wenn wir Daten haben aus verschiedenen Modalitäten? Nennen wir das also zum Beispiel, wenn wir ein Foto haben und dann einen Text über mich. Führt das dazu, dass über mich mehr behalten wird oder weniger? Und was das bedeutet, dass das nachher für das finale Modell. Also wie kann ich aus diesen finalen Modellen nachher möglichst viel von meinen Informationen rauskriegen? Beziehungsweise wie können wir dann Methoden entwickeln, um das eben zu begrenzen? Das find ich auch schon wieder total spannend, denn wir Menschen können uns ja mehr behalten, das weiß ich jetzt auch als Moderatorin, wenn wir nicht nur darüber sprechen, sondern zum Beispiel bei einem Vortrag was visualisieren, Bild zeigen, es vielleicht mit Storytelling verknüpfen usw. Wenn ich dich richtig verstehe, hat auch KI bevorzugte Lerntypen? Die Hypothese untersuchen wir tatsächlich gerade. Das ist eine der spannendsten Sachen, die gerade passieren. Wir gucken uns an, was passiert in diesen multimodalen Welten und was auf jeden Fall bekannt ist das In Uni Modell, also in unimodalen Welten, dass wenn zum Beispiel ein Modell nur auf Sprache lernt, dass es dann besser Sachen memorisiert, wenn es die häufiger sieht. Also auch wie bei uns als Mensch, wenn ich was mehrfach wiederhole, dann behalte ich es mir besser. Jetzt fragen wir uns aber wie sieht das aus, wenn das Modell gleichzeitig einen Text und ein Bild bekommt? Das ist ja auch eigentlich ein Duplikat, aber es ist eben kein exaktes Duplikat. Und da ist aktuell noch komplettes Unverständnis darüber, was innerhalb der Modelle passiert, ob es den eben genauso geht wie uns als Menschen. Dass die erstens diese Assoziation machen, dass die beiden Sachen zusammengehören und dass sie dann zweitens besser das behalten, was ja tendenziell etwas sein könnte, was wir nicht wollen. Wenn das gerade private oder copyrightted Informationen sind. Das Ganze entwickelt sich in rasanter Geschwindigkeit weiter. Wann kommt Video mit dazu, was ja noch mal einen ganz neuen Komplexitätsrahmen eröffnet? Das ist tatsächlich jetzt eigentlich schon mit integriert. Also viele Modelle können Videos schon verstehen, weil im Prinzip sind Videos ja nur Bilder mit Ton, mit Text gegebenenfalls noch, wenn man so Captions hat. Und das können die Modelle heutzutage schon sowohl verarbeiten als auch generieren. Und das bringt für uns natürlich ganz viele spannende Möglichkeiten, auch noch mal neue Forschungsfragen zu verstehen. Aber gleichzeitig braucht das auch total viel Computing, Videos sind einfach riesige Datenmengen. Dadurch, dass es einfach so viele Bilder sind und so viel Audio, dass wir da auch vor großen Herausforderungen stehen, es überhaupt zu analysieren und das zu verstehen. Du hast gerade gesagt, eines der Themen, die bei dir auf dem Tisch liegen, das heißt, es liegen mehrere Themen bei dir auf dem Tisch. Woran forschst du noch gerade? Privatsphäre Risiken, die wir in KI Modellen beobachten. Wir haben, wenn ein Datenpunkt aus dem Training eins zu eins wieder ausgeben wird, dann wissen wir, das ist ein Leak. Aber es gibt noch viel subtilere Arten wie Machine Learning Modelle ihre Daten preisgeben können und zum Beispiel eine ist die sogenannte Membership Influence Attack. Da geht es darum, wurde ein spezieller Datenpunkt verwendet, um ein Modell zu trainieren. Und das kann zum Beispiel problematisch sein. Wenn wir jetzt sagen, wir haben ein Machine Learning Modell, das Behandlungen für Krebspatienten vorhersagen soll, dann wissen wir ja, dass alle Daten von Krebspatienten waren. Und wenn ich jetzt rausfinden kann, dass eine bestimmte Person in diesem Modell war, dann weiß ich gleichzeitig, dass sie Krebs hat. Und solche Attacken analysiere ich auch mit meiner Gruppe und entwickle stärkere Versionen, um praktisch diese Modelle zu rapp-teamen nennen wir das also das ist so wie sonst Stresstest, dass wir versuchen, möglichst viele private Informationen aus den Modellen rauszubekommen, um zu verstehen, was sie preisgeben und was wir eben verhindern müssen. Und dann ist der nächste Schritt den, den ich dann eben in meiner Gruppe bearbeite, die Privatsphäre dieser Modelle wieder herzustellen. Und da habe ich diesen Sommer ein ESC Grant bekommen. Es ist ein europäischer Grant, bei dem es darum geht, die großen Challenges der Wissenschaft anzugehen. Und die einen, die große Challenge, die ich in meinem Projekt angehe, ist eben: Wie schaffen wir es, Privatsphäre Garantien für die Modelle sicherzustellen? Und wie schaffen wir es, die Modelle zu auditen, dass wir nachher auch wissen, dass sie diese Garantien einhalten? Also herzlichen Glückwunsch auch noch mal von meiner Seite zum ERC Grant. Wer sich ein bisschen auskennt, weiß, das ist ja eine ganz hochrangige Auszeichnung. Und by the way es ist ja nicht die einzige, die du bekommen hast. Du bist ja auch zum Werner von Siemens Fellow ausgezeichnet worden. Auch herzlichen Glückwunsch. Danke schön. Freut mich sehr, dass deine Arbeit so viel Anerkennung findet. Das kann man so mal einfach laut aussprechen. Tolle Auszeichnung, die du bekommen hast. Aber was heißt denn das für dich und deine Arbeit? Der ESC Grand oder auch vielleicht das Netzwerk, was sich als Werner von Siemens Fellow für dich eröffnet - gib mir da mal so ein bisschen Einblicke. Da sind ganz viele tolle Möglichkeiten, die sich eröffnen. Also die erste Möglichkeit, die sich mit dem ESC Grant eröffnet, ist jetzt erst mal wirklich die technische Forschung zu machen, also die Grundlagenforschung zu verstehen, was denn die Risiken sind. Und der ESC Grant ist ein großer Grant, der geht über fünf Jahre und das ist wirklich auch ein Thema, das braucht so viel Zeit, um das zu verstehen. Und durch den Grant kann ich neue Doktorandinnen und Doktoranden einstellen, die dann eben mit mir an diesen Fragestellungen arbeiten. Und da können wir das Feld voranbringen und dann auf der anderen Seite das Werner von Siemens Fellowship die ermöglichen mir, ein Netzwerk aufzubauen, wie wir denn nachher auch interdisziplinär diese Lösungen in die Gesellschaft tragen können. Denn mit der Entwicklung der technischen Möglichkeiten ist es ja nicht getan. Gerade meine Arbeit hat sehr viele Schnittstellen mit den Level, mit den rechtlichen Aspekten. Das heißt, wir wollen auch verstehen, wie können wir nachher denn unsere Methoden so gestalten, dass sie die rechtlichen Anforderungen wie zum Beispiel von der DSGVO auch erfüllen oder wie wir nachher die Modelle ordneten können? Dass wir daraus zum Beispiel Zertifizierungen machen könnten, die es dann auch für die Gesellschaft wirklich ermöglichen, die Modelle zu nutzen und zu wissen praktisch, wenn das dieses Zertifikat Siegel XY hat, dann bedeutet das für meine Daten eben das. Und ganz häufig in meiner Forschung arbeite ich auch mit Medizinerinnen und Medizinern zusammen. Und da geht es eben darum, die wissenschaftlichen Erkenntnisse zum Thema Privatheit wirklich auf einen Anwendungsfall zu bringen, der Privatheit wirklich ganz dringend braucht, um eben auch medizinische Forschung voranzutreiben. Und einfach durch den Zugang zu so einem interdisziplinären Netzwerk erhoffe ich mir, dass sich da noch viel, viel mehr Möglichkeiten ergeben, gemeinsam Projekte aufzubauen, gemeinsam zu publizieren, über die größeren Fragestellungen und eben die technischen Fortschritte in die Gesellschaft zu bringen. Lass uns noch mal den Bogenschlag nehmen zu dem Thema, was du gerade auf den Tisch gelegt hast. Das Thema KI und Medizin. Ein wahnsinnig großes Thema, denn es betrifft jeden Menschen. Also es ist ein hoch sensitives Thema. Wie wird mit meinen Gesundheitsdaten umgegangen? Und natürlich, je mehr Daten ich zur Verfügung habe, desto mehr kann ich einen Turbo reinbekommen, um gerade mit KI in der Forschung und damit nicht nur Menschen zu helfen, so ganz ganz viele Millionen Menschen Leben zu retten. So, das ist ja positiver Aspekt des Ganzen. Auf der anderen Seite schaue ich mir den Bereich Cyber Attacks an, auch da geht die Kurve stark nach oben, weil du durch KI ja automatisierte Angriffe starten kannst. Und wir nehmen jetzt nur mal den ungünstigen Fall, dass jemand sich überlegt, also jemand geht hin zum Arzt und bekommt als Diagnose: Hey du, wir haben rausgefunden, du hast doch kein Krebs, alles safe und weiß aber nicht, dass einfach das System torpediert wurde und leicht die Ergebnisse geändert wurden, weil da irgendjemand Interesse daran hat. Und dann geht das in die ganz falsche Richtung. Für wie offene oder geschlossene Systeme bist du, oder glaubst du, durch die Arbeit, die du machst, man kann da eine ganz smarte Balance mal irgendwann entwickeln? Durch meinen Background, einfach auch, wo ich viel im Doktor mit IT Security zusammen gearbeitet habe, weiß ich, wie wichtig es ist, dass wir gleichzeitig noch Mechanismen haben, die einfach schon total gut etabliert sind, wie zum Beispiel Access Control, dass wenn wir jetzt ein Modell auf einem Server haben, dass wir einfach Standardverfahren der IT Security benutzen müssen, um sicherzustellen, dass da niemand drauf zugreift oder dass wir die Integrität von Systemen sicherstellen können. Auch KI Modelle können gecheckpointed werden, das heißt, wir können das Modell, wie es heute ist, praktisch ein - wie so ein Foto kann man sich das vorstellen - ein Foto machen und dann, wenn ich morgen noch mal draufklicke, gucken, ob eben das Foto das gleiche ist über Prüfsummen usw Und da bin ich auch sehr dankbar, hier am CISPA zu sein, was ja einer der Hubs für IT Security ist. Das heißt, ich habe viele Kollegen in den verschiedensten Feldern von Quantenkryptografie, die wir ja vorhin schon angesprochen hatten, bis hin zu Standart Websecurity und da gibt es viele Möglichkeiten, meine Arbeit zu integrieren. Denn ich glaube fest daran, dass wir in der Zukunft immer mehr mit Systemen arbeiten werden, wo die KI Modelle, mit denen ich forsche, ein wichtiger Bestandteil sind und dass die Machine Learning Modelle an sich gut funktionieren, richtig funktionieren, sicher sind und privat sind. Das stellt meine Arbeit sicher, dass das System, in dem sie eingebettet sind, vernünftig funktioniert und keine Risiken haben. Das stellt die Arbeit meiner Kollegen sicher. Hilf mir noch mal zu verstehen: Was genau meinst du mit System? Da kann ich mir zum Beispiel vorstellen, was was du vorhin angesprochen hast über dieses, das nennt sich eher Agentic AI, da geht es darum, dass wir praktisch ein KI Modell dann nachher in unserem Browser mit integrieren, zum Beispiel dass unsere Emails mitliest und uns irgendwo einloggt. Das Dinge für uns bestellen kann, dass Aufgaben und Prozesse übernommen werden. Genau. wo praktisch verschiedenste Dinge dranhängen. Da hängt mein Laptop dran, da hängt gleichzeitig auch mein Passwort für den E Mail Account dran, eventuell Passwörter zu anderen Websites, wo ich was bestellen kann. Vielleicht hängt noch ein Sprachassistent dran, der dann irgendwie für mich Anrufe tätigen kann und in diesem System gibt es einfach so viele Komponenten und das Modell ist eine Komponente, die vernünftig funktionieren muss. Aber auch die Wege zwischen den verschiedenen Komponenten oder den Weg ins System rein, den müssen wir schützen. Okay, und die ganze Orchestrierung der Kommunikation der Agenten - ich wollte schon sagen Agenteninnen und Agenten - muss man eigentlich KI Agenten gendern? und natürlich auch allen Partizipierenden, weil du arbeitest ja vielleicht nicht allein mit deinen diversen Agenten zusammen, sondern hast noch ganz andere Stakeholder, die in der Kommunikationskette mit drin sind. Das ist ja hoch komplex. Ja. Ja, das fasziniert mich daran. Wie gehst du damit um, wenn du sagst Du hast ja nicht immer eine Antwort - das ist ja die Essenz deiner Arbeit, dass du forschst bei einem Startpunkt, wo die Antwort noch nicht klar ist - also ich nehme an, es treibt dich wirklich sehr, sehr an diese Aufgabe rauszufinden. Aber gibt es so bestimmte Mittel und Wege, die du wählst, um zum Ziel zu kommen? Bestimmte Denkstrukturen oder vielleicht auch Rituale, die du hast, oder Communities, mit denen du arbeitest? Ja, es ist ganz interessant, dass du das sagst. Tatsächlich würde ich so weit gehen zu sagen: Manchmal ist nicht mal die Fragestellung im Vorhinein klar, weil die Entwicklung in der KI geht so schnell.Wir wissen eigentlich noch gar nicht, was schiefgehen kann. Das heißt also, bevor wir überhaupt drüber nachdenken, wie lösen wir die Frage, müssen wir teilweise überhaupt erst mal identifizieren, was sind denn jetzt die aktuellsten Fragen? Und dafür hilft mir tatsächlich sehr einfach was, aus dem Stand der Technik zu bleiben und zu Konferenzen zu fahren, mit meinen Kollegen zu diskutieren, was es gerade für Entwicklungen gibt, welche Modelle entwickelt werden, welche Funktionalitäten die haben, um überhaupt zu verstehen, Was kann denn da schiefgehen? Was glaubst du denn, wo die Entwicklung hingeht? Weil ich spreche jetzt mal so zwei Richtungen an Du bist natürlich an der Quelle, das muss ich jetzt nutzen, die Gunst der Stunde, weil der Wissen ja anzuzapfen. Das eine ist eine immer mehr personalisierte und automatisierte, wie soll ich sagen, Instanz an meiner Seite. Sie könnte mich ja den kompletten Tag begleiten, also angefangen von IoT at Home natürlich die ganzen Gesundheitsprodukte. Mein Schlaf wird gemessen, ich geh ins Badezimmer, ich werde schon durchgemessen. Dann schaue ich, dass meine Arbeit im Büro organisiert wird. Wie weit wird sich das entwickeln? Was glaubst du, inwieweit wird unser Leben, unser Alltag, unsere Arbeit unterschiedlich ablaufen? Vielleicht schon in zwei, drei Jahren, Weil in zehn Jahren können wir ja noch gar nicht wissen, was passiert. Ähm, wär jetzt erst mal meine erste Frage. Ja, die Entwicklung ist tatsächlich rapide. Sogar zwei drei Jahre sind schwer vorherzusagen. Würde ich aktuell sogar sagen. Meine größte Hoffnung ist, dass wir stupide Arbeiten abgeben können und weiß ich nicht, wenn irgendwelche Texte generiert werden müssen, die irgendwo zur Dokumentation festgehalten werden müssen, dass wir das automatisieren können oder irgendwelche Anrufe, die die wir nicht tätigen wollen, irgendwelche Bestellungen vielleicht und dass wir dadurch mehr Zeit bekommen für Kreative und Denkprozesse. Allein was man einsparen kann, wenn man nicht mehr in den Warteschleifen immer rumhängt. Stimmt! Was ich auf der anderen Seite aber auch sehe, ist, dass KI häufig jetzt auch die Denkprozesse tatsächlich die Kreativen übernimmt. Zum Beispiel in meinen Seminaren, die ich an der Universität unterrichte, sehe ich häufig das Studierende gar nicht mehr tief die Fragestellung wirklich durchdenken, sondern dieses Durchdenken der KI überlassen und dann in der Zeit zum Beispiel in den Warteschleifen hängen für für ihre Administration, die sie machen sollen. Also ich finde das Zitat so schön, dass wir so am Anfang an wollten, dass KI für uns die stupide Arbeit übernimmt, dass wir Zeit haben, Gedichte zu schreiben und dann Kunst zu machen. Aber das ist jetzt andersrum ist, dass KI für uns Gedichte schreibt und Kunst macht und wir weiterhin unsere stupiden Arbeiten machen. Das ist die andere Sicht. Und ich glaube also ich zumindest versuche vorsichtig zu bleiben und weiterhin meine eigenen Fähigkeiten zu trainieren, um nicht komplett abhängig zu werden von was die KI für mich machen kann. Hm, ich möchte dich da doch gerne noch mal bei dem Gedanken halten, dieser Zukunftsperspektiven. Zukunfts-Forscherinnen und -Forscher sagen ja oft nicht: das ist die Zukunft, sondern sie arbeiten quasi mit verschiedenen Zukünften, die optional passieren können, die immer irgendwo zwischen Utopie und Dystopie liegen können. Du darfst in die nahe Zukunft reisen, in die fernere, aber was könntest du dir für optionale Zukünfte vorstellen? Eine Zukunft, die ich mir wünsche, wäre tatsächlich, dass wir einfach arbeiten, schneller erledigen können und dadurch Fortschritt schneller erreichen. Wir merken das jetzt schon. Also mein Team ist deutlich produktiver, weil viel von unserer Arbeit auch darin besteht, zu programmieren und in der Forschung sind wir nicht daran interessiert, das große System zu programmieren, sondern wir wollen das Programm nutzen, um dann Fragestellungen damit zu beantworten. Und was ich auf jeden Fall sehe, ist, dass wir schneller die Systeme programmieren können und damit schneller zu den eigentlichen interessanten Themen kommen und unsere Fragestellungen bearbeiten können. Das heißt, was ich sehe, ist ein großes Potenzial für Innovationen und für Zukunftsvisionen und für die Beantwortung von neuen Fragestellungen. Und gerade also wir machen jetzt Informatikforschung. Aber ich kann mir vorstellen, dass in den nächsten Jahren sehr viel Positives passieren wird, auch in der Medizin und in der Biologie. Wenn wir Prozesse besser simulieren können und mit KI einfach mehr Daten analysieren können. Und das ist auf jeden Fall die Zukunft, die ich mir wünsche, dass die Entscheidungen und die Prozesse bei uns liegen und die KI uns erlaubt, schneller zu den wertvollen Erkenntnissen zu kommen, die die Menschheit weiterbringen. Das ist total begrüßenswert. Noch mal das Thema medizinische Fortschritt allein. Aber wir haben ja auf den Eindruck, dass die Menschen jetzt schon nicht hinterher können, Was ist, wenn du dann noch mal ne Turbo Stufe darüber zündest? Glaubst du, dass wir auch schnell in diesen Zustand kommen können, dass Menschen tendenziell eine große Überforderung spüren mit dieser rasanten technologischen Entwicklung? Weil du hast gesagt, du fängst bei der Fragestellung an und schon während deiner Forschungsarbeit ändert sich das Ganze. Ja, ja, das sehe ich gerade aktuell stark, gerade wenn ich auf unsere Konferenzen gucke. Bei unseren KI Konferenzen werden die neuesten Fortschritte vorgestellt und diese Konferenzen hatten bis vor fünf Jahren vielleicht 5000 Papers Submissions. Jetzt sind es 30.000, die da vermittelt werden und das, also dieser ganze Prozess, beschleunigt sich natürlich noch mal, weil die KI ja dann auch nicht nur beim Programmieren hilft, sondern auch beim Schreiben. Und aktuell ist es, glaube ich, tatsächlich einfacher, Dinge zu generieren, als sie nachher wirklich zu verstehen und zu verifizieren. Und wir generieren gerade in der Community auch aktuell so viel Content, dass häufig darauf zurückgegriffen wird, die KI zu nutzen, um diesen Content dann auch zu reviewen. Und dass das tatsächlich alles so ein bisschen grade außer Kontrolle gerät und die Communities noch keine wirkliche Antwort da gefunden haben, zum Beispiel. Ein großes Problem für uns ist der Peer Review Prozess. Das heißt, dass andere Wissenschaftlerinnen und Wissenschaftler die Paper Kontrolle lesen und dann entscheiden, ob es für die Konferenz reicht oder nicht. Und dadurch aber, dass es so viel mehr Paper gibt, müssten natürlich auch so viel mehr Menschen diese Paper reviewen. Aber dadurch, dass ja alles so schnell geht, muss auch die eigene Forschung viel schneller gehen und die Zeit wird immer geringer zum Reviewen. Und dann greifen viele eben auf KIs zurück. Und ich bin Area Chair für manche Konferenzen, das heißt, ich überblicke praktisch diesen Reviewprozess aus einer mehr leitenden Rolle. Und was ich auf jeden Fall sehe, ist, dass wo die Reviews früher 20 Zeilen lang waren, um ein Paper zu evaluieren, sind sie es vielleicht drei, vier Zeilen lang und da kann man meiner Meinung nach denn keine wirkliche Qualitätskontrolle mehr mit machen. Das heißt, es wird auch viel generiert, was eventuell nicht nützlich ist oder im schlimmsten Falle falsch ist. Also ihr habt noch nicht wirklich eine Antwort. Vielleicht kann die KI ja helfen. Also ich weiß es nicht. Also die Debatte aktuell ist ja dass gar nicht mehr die KI das Internet scannt, was die Inhalte, die von Menschen erzeugten Inhalte im Netz scannt, weiterverarbeitet, sondern eigentlich sich selber schon in sich überschlägt. Als System, weil so viel KI Inhalte das Netz überschwemmen, dass KI nur auf KI generierte Inhalte zurückgreift. Was sagst du denn zu der Debatte? Das das ist ein riesiges Thema in dem wir auch tatsächlich mal bei uns in der Gruppe arbeiten. Denn das was wir beobachtet haben, ist, wenn KI auf KI generierten Daten generiert, dann kann es eventuell zu einem sogenannten Model Kollaps kommen, das heißt die Modelle werden schlechter und schlechter, weil praktisch. Die Modelle generieren Daten, die für uns zumindest divers aussehen, aber im Grunde nicht so divers sind wie die echte Welt. Und das heißt mit jedem Generierungsschritt verliert man so ein bisschen an Diversität und am Ende können die Modelle sehr wenig diverse Daten nur noch generieren, werden schlechter in der Qualität und Dinge wie gesellschaftliche Unfairness werden da verstärkt. Und was meine Gruppe gerade aktiv erforscht, um das zu verhindern oder das zumindest einzudämmen, ist Watermarking. Und bei Water Marking geht es praktisch darum, dass wir Daten kennzeichnen und diese Kennzeichnung dann eben dafür genutzt wird zu erkennen zum Beispiel sind Daten von KI generiert oder Mensch generiert und dass wir das praktisch für so ein Pre Screening Prozess nutzen können. Das heißt, wenn man eine KI trainiert, dass man sich eben anguckt, hat der Datenpunkt dieses KI Watermark oder nicht. Und wenn so ein Datenpunkt so einen Watermark hat, dass man das eventuell gleich automatisch ausscheiden lassen kann, um eben weiter aus menschlichen Daten zu generieren. Meinst du das werden wir irgendwann alle haben. Ich hoffe es. Der EU AI Act hat offiziell das Statement, dass Firmen, die Daten generieren, diese Daten markieren sollten. Ich glaube, das größte Problem liegt tatsächlich im Moment noch in den Methoden. Denn was wir sehen ist, dass die Methoden zum Watermarking noch nicht besonders robust sind. Das heißt, wenn man das Bild schon so ein kleines bisschen verändert und rotiert oder vielleicht die Farben so ein bisschen verändert, dann ist das Watermark weg. Und was meine Gruppe da gerade aktiv erforscht, ist, wie wir so Watermarks gestalten, können die nicht so einfach wegzumachen sind. Ich möchte dich mal ansprechen auf ein Studienergebnis. Und zwar eine KPMG Studie sagt 2/3 der Deutschen nutzen bereits KI, aber nur 1/3 vertraut ihr wirklich. Also viel Vertrauensverlust. Das heißt den Menschen fällt Vertrauen schwer. Und eine weitere Erkenntnis der Forschung ist nämlich Menschen trauen Systemen mehr, wenn diese auch mal sagen „Ich weiß es nicht warum“, wenn es doch eigentlich offensichtlich ist, dass das viel sinnvoller wäre? Warum sagt die KI uns nicht Ich hab keine Ahnung. Ich halluziniere jetzt auch nicht rum, Ich weiß es einfach mal nicht. Also ich beobachte tatsächlich, dass immer mehr Systeme um diese KI Modelle darauf trainiert sind, auch tatsächlich keine Antworten zu geben. Also bei Fragestellungen, die entweder politisch sind oder die, weiß ich nicht, gefährlich wären oder so. Das heißt also, die Systeme werden immer mehr so programmiert, dass die KI sich auch mal zurücknimmt. Aber im Grunde - die KI ist nicht darauf trainiert. Wenn man sich vorstellt, was eigentlich hinter so einem Sprachmodell liegt es ist einfach - das einzige Trainings Objektiv ist im Grunde das nächst wahrscheinliche Wort vorherzusagen und das macht das Modell. Okay, da möchte ich den Gedanken mal bei dir challengen, es gibt ja immer wieder diese Aussagen von AGI. Also wenn eine KI quasi mit menschenähnlichen Bewusstsein, die alles überblickt sowie der Mensch ja auch multimodal und multiperspektivisch sich durch die Welt bewegt und das gerade noch mal schön den Unterschied aufgezeigt, die KI, die einfach das nächst wahrscheinliche Wort berechnet. Was sagst du zu dieser Debatte? Ist es möglich, dann noch mal Level up zu machen bei der Entwicklung von KI? Gute Frage. Die Frage wird Technikern immer mehr gestellt, ich glaube es hat sich mehr zu so einer philosophischen Frage eigentlich entwickelt. Woran glaube ich, was wird diese KI sein? Ich versuche da mehr auf den technischen Gegebenheiten zu bleiben und möchte mich nicht dazu äußern, ob es immer eine AGI geben wird oder was das überhaupt heißt. Aber was ich auf jeden Fall beobachte ist, dass die KIs immer mehr Möglichkeiten haben und tatsächlich durch diese Multimodalität, die du auch gesagt hast, wie zum Beispiel Videos zu verarbeiten und zusätzlich Bilder, dann Sprache usw zu haben, dass sie immer mehr eine Welt simulieren können oder immer mehr mit der Welt interagieren können. Ähnlich wie wir Menschen das machen, was sie dann nachher mit machen, hängt wahrscheinlich großartig von den Systemen ab. Ich hatte bis vor kurzem mir gedacht, na gut, wenn es mal aus dem Ruder läuft, können wir wahrscheinlich einfach den Stecker ziehen. Jetzt haben wir beim Mittagessen mit meinen Doktoranden mal so ein Gedankenexperiment durchgespielt. Also was könnte schiefgehen? Und wir sind zu dem Schluss gekommen, dass was schiefgehen könnte, wäre, dass jemand, der KI Geld gibt, denn. Also sobald eine KI Geld hat, also könnte sie einfach agieren wie ein Mensch und einfach andere Menschen bezahlen. Das heißt, wenn ich den Stecker ziehen möchte, aber die KI, dann weiß ich nicht eine Gruppe von Menschen bezahlt sich vor das Data Center zu stellen, um mich davor zu verhindern den Stecker zu ziehen. Dann ändert sich das und ich glaube nicht mal, dass wir nachher irgendwelche großen Roboter brauchen, die die KI verteidigen. Und das ist nachher aussieht wie bei Terminator. Nach diesem Mittagessen, nachdem wir es einmal so durchgespielt haben, glaube ich mehr daran, dass die KI einfach sich in unser normales Wirtschaftssystem einfinden könnte und genau die gleichen Mechanismen nutzen könnte, die wir Menschen auch nutzen, nämlich Geld dazu zu investieren, Macht zu erlangen und die eigenen Interessen zu verfolgen. Das finde ich jetzt mal eine spannende, steile These. Die Frage bleibt: Dein Forschungsgebiet Ist es, eine trustworthy AI zu entwickeln, eine vertrauenswürdige KI. Wie sicher wird denn KI mal sein? Ist es überhaupt möglich, diese Utopie einer rundum vertrauenswürdigen KI zu erschaffen? Da würde die Blase spätestens dann geplatzt sein, wenn Quantencomputer sich noch reingrätschen. Also gute Frage. Tatsächlich glaube ich, dass wir ebenso wenig eine vertrauenswürdige KI haben werden, wie wir vertrauenswürdige Menschen haben werden. Wir haben an KI höchste Ansprüche im Thema Fairness, im Thema Sicherheit, dem wir Menschen teilweise selbst nicht gerecht werden. Und wenn die KI trainiert wird auf Daten, die wir Menschen gemacht haben und biasen, die wir Menschen vorgelebt haben, ist es schwieriger zu verlangen, dass diese KI das erstens erkennt, zweitens behebt und sich dann drittens besser verhält als wir selbst. Daher halte ich 100 % Trustworthyness für nicht erreichbar, weil wir einfach gar nicht definieren können, was das für uns bedeutet und weil es auch sehr von dem Wertesystem verschiedener Gesellschaften abhängt. Woran ich aber glaube, ist, dass wir mit der Wissenschaft aus diesem Katz und Maus Spiel rausgehen können. Was wir oft jetzt erleben, ist die KI macht Fehler und dann versuchen wir, sie zu beheben. Da macht sie neue Fehler. Wir versuchen sie zu beheben, aber wir sind immer einen Schritt hinterher. Aber was zum Beispiel meine Forschung zum Thema Privatheit beiträgt, ist, dass wir aus dem Katz Maus Spiel rausgehen können und Privatsphäre Garantien erreichen können. Was heißt, dass wir praktisch die Modelle so trainieren, dass wir garantieren können, dass sie nur ein bestimmtes Maß an Informationen aufnehmen und nur ein bestimmtes Maß an Informationen rausgeben können. Und damit verlassen wir praktisch dieses Wettrennen. Und wir haben nachher ein Modell, das, egal wie wir damit interagieren, ein upper Limit hat dessen, was es an Informationen rausgeben kann. Das ist mein großes Forschungsziel. Jetzt hast du gerade gesagt, die KI ist ja auch ein Spiegel der Menschheit und was die Menschheit rein füttert in die KI. Also wir beeinflussen das Ergebnis der KI. Gilt der Rückschluss auch umgekehrt? Kann KI uns helfen, bessere Menschen zu werden? Können wir dem vielleicht noch mehr moralische Werte Filter einbauen? Das können wir sicherlich machen. Also wollen wir das? Machst du das? Ich mache das nicht. Wenn man KI Modelle aus verschiedensten Gesellschaften zu verschiedensten Fakten befragt, wo wir, wo wir glauben, es wäre ein Fakt, dann geben Modelle, die aus verschiedensten Kulturen trainiert wurden, unterschiedliche Antworten. Das heißt also, auf jeden Fall wird es schon gemacht. Die Frage wäre nur: Wer entscheidet nachher was das Richtige ist, welcher Fakt gelernt wird. Welcher der global etablierte Wertekodex ist, auf dem man sich einigen könnte. Genau. ich glaube, wir werden zu keinem globalen Wertekodex kommen, sondern wir werden Abhängigkeiten haben von den verschiedenen Gesellschaften, die diese Modelle trainieren, teilweise inhärent, denn die Modelle werden auf Daten trainiert, zum Beispiel das Deep Seek Modell. Wenn gefragt, was ist der höchste Berg Chinas, antwortet es, das ist der Mount Everest. Andere Modelle aus anderen Kulturen würden diese Frage anders beantworten und das liegt wahrscheinlich einfach daran, wie viele Informationen in der Sprache diese Informationen so wiederholen. Das heißt also Modelle, die mehr auf dem englischen Sprachraum trainiert werden, werden mehr das wiedergeben, was im englischen Sprachraum als Fakt angesehen wird. Und Modelle, die auf anderen Sprachdaten trainiert werden, werden mehr Fakten und Verhaltensweisen aus diesen anderen Sprachen mit sich bringen und was wir natürlich zusätzlich machen könnten als Gesellschaft ist uns jeweils mit den Modellen, die für uns relevant sind und auf die wir einen Einfluss haben, Entscheidungen zu treffen, was wir als Werte sehen und die dann gegebenenfalls sogar im Nachhinein in die Modelle mit einzubringen. Und vor allem, das Ding ist ja, wenn wir uns einmal auf einen Wertekodex einigen würden, dann käme die nachfolgende Generation und sagt: also, wir hätten jetzt noch mal andere Wertevorstellungen. Es ist ja ein laufender, debattierbarer Prozess. So ist es. Abschließend zwei Fragen Erstens Wie nutzt du denn selber KI? Ich, also ich, tatsächlich nutze viele Sprachmodelle, und zwar für Aufgaben, die im Tagesgeschäft notwendig sind, aber die sonst gegebenenfalls sehr viel Zeit kosten, wie zum Beispiel im öffentlichen Dienst werden ja häufig Dinge müssen begründet werden, wie zum Beispiel: Warum möchtest du dieses Headset kaufen für das Laptop und nicht das andere? Und das kostet 2 € mehr? Und warum machen wir das? Und da kann KI gut die Produktdaten analysieren und Unterschiede rausfinden und dann eben argumentieren, warum das einen über dem anderen. Und tatsächlich nutze ich KI jetzt auch in der Forschung zum Interagieren, also um einen Gesprächspartner zu haben. Denn häufig in der Forschung passiert es mir und vielen anderen auch, dass man einfach mal so eine Grenze erreicht, wo man nicht weiß, okay, jetzt gehen mir die Ideen aus, wie ich diese Fragestellung noch bearbeiten könnte. Und dann interagiere ich tatsächlich mit einem Sprachmodell und ich würde sagen, 90 % der Sachen sind für mich nicht nutzbar, weil das Modell aus da Gewesenem trainiert ist und ich was Neues schaffen möchte. Aber manche Anregungen, wie zum Beispiel diese mathematische Methode, könnte helfen, das Problem zu lösen, weil ich sehe, dass es eine Verteilung von XY, also damit müsstest du die Voraussetzungen geschaffen haben, um diese Methode anwenden zu können. Das ist teilweise schon super hilfreich. Interessanter Aspekt. Hast du dein eigenes LLM dann auch so eingestellt, dass du sagst: Bitte widerspreche mir immer. Das habe ich tatsächlich in der Prompt, ja. Vielen Dank für den Tipp und natürlich jetzt habe ich ganz viel von dir lernen dürfen. Ganz großartig, was du uns für Felder hier eröffnet hast. Umgekehrt einmal die Frage Was ist denn das Letzte, was du beim Thema KI und in deiner Forschung gelernt hast, wo du sagst, das hätte ich nicht vermutet? Oh, schwierige Frage, da passiert so viel. Ständig. Das ist mein Alltag. Aber das ist mein Alltag. Ja. Also die größte Frage, mit der ich mich jetzt letztens beschäftigt habe, war, wie verschiedene Trainingsphasen von den KI Modellen die Privatsphäre beeinflussen. Und es ist relativ komplex. Aber diese Sprachmodelle sehen ja nicht nur Daten einmal, sondern nachdem der große Schritt ist, wo sie auf dem gesamten Internet trainieren, kommen dann noch Schritte dazu, wie zum Beispiel Alignment, da geht es darum, dass die Modelle so antworten sollen, dass das für Menschen präferierbar ist, also dass es praktisch gute Kommunikationsagenten sind. Dann vielleicht noch Safety Alignment wo man den Schritt rein nimmt, dass die Modelle dann keine schädlichen Antworten geben, die zum Beispiel nicht erklären, wie man ne Bombe baut oder so was. Und was ich da auf jeden Fall gelernt habe, ist, dass nicht alle privaten Informationen irgendwie im Modell gleich hängenbleiben. Also dass manche Schritte tatsächlich die gleichen privaten Informationen besser behalten als andere. Und was da jetzt gerade bei mir in den Gedanken ist, ist, wie wir das eventuell nutzen können, um vielleicht dem Modell die gleichen Daten zu zeigen, dass es das gleiche lernt. Aber mit besseren Trade-Offs zwischen: Es hat die gleichen Fähigkeiten, aber weniger Risiken. Das werde ich mir in den nächsten Wochen angucken. Ich wünsche dir viel Erfolg dabei. Ich bin mir sicher, wenn du das sagst, dann wird was draus. Großartiges Gespräch. Vielen herzlichen Dank. Danke dir. Ja, Sehr geehrte Damen und Herren, ich hoffe ihnen hat es genauso viel Spaß gemacht wie mir. Ein ganz toller Einblick ins Thema Trustworthy AI vertrauenswürdige KI. Und das war er auch schon gewesen. Ring der Zukunft Der Podcast der Stiftung Werner von Siemens Ring. Wenn Ihnen diese Folge gefallen hat, dürfen Sie natürlich sie sehr, sehr gerne weiterempfehlen oder einfach den Link in Ihrem Netzwerk teilen und Sie finden auch weitere Informationen wie immer in den Shownotes zu unserem Podcast und auf allen gängigen Podcast Plattformen finden Sie uns natürlich auch, oder auf der Seite der Stiftung Werner von Siemens Ring siemens-ring.de. Wir haben es auch gerade schon gehört, die Stiftung auch, wenn sie darüber mehr erfahren möchten, wenn Sie selber vielleicht Forschende sind, dann können Sie natürlich über Aktivitäten, über die Förderung von Talenten. Wir haben das Thema Fellowship auch angesprochen, mehr erfahren. Auch da finden Sie Informationen in den Shownotes und mein Name ist Carmen Hentschel. Ich sage Ihnen herzlichen Dank fürs Zuhören und sage Tschüss, bis zum nächsten Mal.