Ki Ethik

Transcript

Einspieler

Torsten:
[0:37] Zur 15. Ausgabe des E-Government Podcasts. Ich bin Torsten Frenzel und ich habe heute zwei Damen im Podcast, endlich mal wieder Frauen im Podcast, wunderbar, weil,
IT besteht nicht nur aus Männern, sondern auch aus wirklich klugen Frauen. Und damit begrüße ich heute die Anita und die Leila, hallo.
Anita, magst du mal anfangen mit einer Vorstellungsrunde?

Anita:
[0:59] Gerne. Ähm Anita Klingel, ich arbeite bei der PD, das ist die Inhouseberatung des Bundes und leite dort unser KI-Team.
Das heißt, überall da in der Verwaltung, wo KI-Projekte tatsächlich umgesetzt werden sollen, Strategien entwickelt und so weiter kann sich die Verwaltung an uns wenden.
Mein Haus- und Hofthema innerhalb dieses Teams ist die KI Governance, also Fragen von Regulierung und Einbindung von Prozessen.

Torsten:
[1:23] Ja und du hast einen Paper geschrieben, glaube ich oder.

Anita:
[1:25] Und ich bin im Rahmen dieser Funktion bei Next Next ist ein Verwaltungsnetzwerk, was hoffe ich allen Hörerinnen was sagt, wenn nicht
meldet euch dort an und dort haben wir gemeinsam mit 19 anderen mutigen Mitstreiterinnen aus allen Ebenen der Verwaltung äh überlegt, wie wir die KI-Verordnung auf die Straße bringen können.

Torsten:
[1:41] Genau mit Vincent habe ich schon einen Podcast zunächst gemacht. Also das sollte eigentlich allen Hörern bekannt sein und das kann ich nur unterstreichen, anmelden. Und Leyla, hallo, ich grüße dich.

Lajla:
[1:50] Ja hi, Thorsten, hi Anita. Ich freue mich sehr ähm aufs Gespräch erst mal. Ähm ich stelle mich aber auch gerne einmal vor. Mein Name ist Leila Fettitsch.
Ich leite das Projekt Ethik der Algorithmen zusammen mit meiner äh tollen Superkollegin Julia Gundlach
Und ähm ja gemeinsam sind wir bei der Bertelsmann Stiftung äh mit unserem Team unterwegs und untersuchen gesellschaftliche ja Risiken und Folgen alrömischer Entscheidungssysteme
versuchen Lösungen zu entwickeln, wie diese Risiken angegangen werden können und die Chancen von Algorithmen
genutzt werden können und das insbesondere eben auch durch die Verwaltung. Und in diesem Rahmen haben wir eine Handreichung für die digitale Verwaltung entwickelt, die in 22 Schritten zeigt, wie man KI und Algorithmen so einsetzt,
dass Sie nichts falsch machen im Groben und Ganzen gesagt und ähm ich freue mich wie gesagt aufs Gespräch. Du hast am Anfang gesagt, äh du freust dich darüber, dass wir hier zwei Frauen sind und vielleicht nochmal Werbung vorab, wir haben eine Liste bei Algorithmen-Ethik ähm
äh veröffentlicht, die über 100 Expertinnen listet und damit wirklich auch ähm Schluss macht mit der Aussage, ich habe leider keine Expertin für IT-Fragen gefunden, denn die
ähm en masse wie Sand am Meer und wir sollten auf jeden Fall diesen Frauen ähm das äh das Gehör schenken, was sie verdienen.

Torsten:
[3:08] Ja, den Link dazu, den äh werde ich in die reinschreiben und äh ich kann das nur unterschreiben. Also ich arbeite bei der Akademie und der Akademie ist, glaube ich, die Frauen und Männerquote so fast fifty-fifty und das ist hervorragend, also
auch eine Chefin äh direkt über mir arbeiten und unser Vorstand besteht auch aus Mann und Frau. Also äh ich kann nur unter Zeichen unterschreiben, dass hier viele, viele Experten gibt oder Expertinnen.
Aber ähm leider wir haben äh eine lustige Kennenlerngeschichte.
Weil wir beide beim zum Digitalplan eingeladen wurden und da haben wir uns in einer Gruppe getroffen, in der E-Government-Gruppe und haben da so vor uns hingearbeitet, also nicht vor uns hingearbeitet, gestresst vor uns hingearbeitet.

Lajla:
[3:51] Der Zeitdruck und Schweiß und Tränen.

Torsten:
[3:53] Genau in der Zeitung und Schweiß und hinterher haben wir festgestellt, Mensch wir könnten nochmal reden und äh da hast du mir noch gesagt, oh ich habe da so eine Handreichung geschrieben äh kannst du vielleicht kurz zu der Handreichung was sagen?

Lajla:
[4:05] Ja, sehr gern. Also zunächst einmal vielleicht das als Disclaimer. Ähm
Ich komme nicht aus Bayern ähm und Digitalplan Bayern Bayern, das ist also ähm ein Partizipativer Prozess, ähm wo auch die Zivilgesellschaft eingeladen war und das kommt ganz selten vor.
Und äh deshalb will ich das vielleicht nochmal vorablobend erwähnen, weil Zivilgesellschaft, das sind ganz viele verschiedene Vereine, Stiftungen, die sich auch rund um das Thema Digitales.
Bemühen und ähm die zu stärken und denen Platz zu schenken, ja, das fand ich einfach super.

Torsten:
[4:37] Ja, ich war da auch als Zivilgesellschaft eingeladen und nicht in meiner Eigenschaft als Mitarbeiter der Akademie, sondern als Podcaster des E-Government-Podcasts. Da hat man äh mich als Zivilgesellschaft mit ausgewählt.
Aber das war eine ganz ganz nette Veranstaltung, auch darum soll's ja jetzt nicht gehen. Ähm es geht erst mal um KI, KIQ und äh.
Handreichung?

Lajla:
[5:01] Ja, also im Grunde genommen ähm immer noch ein frisches Thema. Da kann gleich Anita auch zu erzählen, äh wahrscheinlich aus ihrem Maschinenraum sozusagen, aber KI ähm als
ja also Schlüsseltechnologie als Motor der Digitalisierung
ist für viele aus der Verwaltung immer noch ein Thema, was nicht ganz so nah ähm äh an die an ans Arbeiten kommt, beziehungsweise.

[5:26] Immer noch in Dystopien und Utopien verhandelt wird.
Und trotzdem haben wir uns bei der Bertelsmann Stiftung auf den Weg gemacht, grade zu KI-Themen ähm entsprechend auch Lösungen für die Verwaltung zu entwickeln. Ähm Lösung meint
KI hat jede Technologie ähm gute und schlechte Seiten, aber es kommt vor allem eben darauf an, wer und wie sie gestaltet wird und ähm um mit diesen ja mit den gesellschaftlichen Folgen umzugehen, damit die Verwaltung das auch gut
kann, haben wir eben eine Handreichung entwickelt und wenn ich von wir spreche, dann war ich das nicht alleine in Gütersloh, äh bei einem Gläschen Wein, sondern das ist tatsächlich ein ganz schön langer Prozess gewesen, also
erst die Algohols entwickelt, das sind neun Ethikregeln für die Gestaltung von und KI, das waren über ähm
ja 400 Expertinnen Personen aus der Praxis, die da beteiligt waren und ähm mit uns, der Bertelsmann Stiftung und dem diese Regeln entwickelt haben und dann haben wir eben Praxislösungen erarbeitet ähm und da waren auch noch sehr sehr viele Expertinnen aus der Verwaltung selbst dabei und ähm
die Handreichung, ich hab's schon in aller Kürze gesagt.

[6:35] 2undzwanzig Schritte zum Glück haben wir's irgendwann mal genannt ähm weil es anhand eben eines idealtypischen Prozesses in der Verwaltung zeigt wann,
muss ich was beachten, wenn auf einmal die Chef äh die Chefin oder der Chef sagt
setzt doch mal KI ein für ein noch nicht definiertes Problem und ähm ja dabei ähm kann man auf jeden Fall auf viele Fallstricke stoßen und was genau ähm können wir auch im im weiteren Verlauf super gerne nochmal adressieren, aber ich glaube das war so ein guter erster,
Überblick.

Torsten:
[7:06] Aber KI ist nicht so was wie Blockchain, also wir haben eine Lösung und suchen das Problem dafür oder.

Lajla:
[7:11] Na ja, also ein ein Experte hat es mal vor einiger Zeit gesagt, ähm die KI Rockstars suchen ähm leider Gottes öfter
die Probleme zu ihrer schon fertigen Lösung. Also wir haben hier tatsächlich schon auch häufig das Problem, dass erst die Lösung, also eine KI-Technologie ähm im Raum steht und dann wird das passende gesellschaftliche Problem gesucht und das ist ein Fehler von
Also äh von Anfang an, der sich dann auch ähm der in den weiteren folgenden Prozessen negativ
ähm ja auch niederschlagen wird und ähm deshalb also KI,
ist ein frisches Thema in der Verwaltung. Wir haben aber auch ein paar gute Praxisbeispiele gezeigt, wo es ganz sinnvoll auch eingesetzt wird, aber wir haben eben auch aufgezeigt mit den Beispielen, dass es am Anfang gar nichts uns ums Technische geht, sondern um die Frage, welches gesellschaftliche Problem möchte ich eigentlich lösen und
kann die KI denn dabei helfen? Ähm ein Fallbeispiel ähm Chatbot Bobby in Berlin, ähm der ist,
Berühmt geworden, wenn man so möchte, weil der ganz viele Corona-Informationen geteilt hat in einer Zeit, wo halt auch viele Bürgerinnen unsicher waren.

[8:21] Dann gab es ähm auch Fallbeispiele rund ums also wenn die Polizei im Grunde genommen
ja alrytmische Entscheidungssysteme einsetzt. Da haben wir Horrorszenarien aus den äh Staaten ähm hier in Deutschland sieht das Ganze doch einen Ticken anders aus glücklicherweise.
Und ja, also das sind so ein paar Beispiele aus der Verwaltung, aber ich glaube, Anita hat da auch ähm aus ihrem Maschinenraum noch mehr und anschaulicheres Material dabei.

Torsten:
[8:49] Ganz kurz noch da, du hast Policing gesagt, also ich hatte in der ein oder anderen Podcast schon auch mal über Predictive Government äh gesprochen. Vielleicht kannst du das mal ganz kurz erklären, was das bedeutet.

Lajla:
[9:01] Also ähm hinter dem englischen Fachbegriff versteckt sich äh das deutsche ja wahrscheinlich noch verklausuliertere,
vorausschauende Polizeiarbeit,
Ähm und was heißt vorausschauende Polizeiarbeit hier in Deutschland heißt es oftmals, dass mit den algorithmischen Entscheidungssystemen ein Bild, ein Lagebild, gezeichnet wird über bestimmte.
Ja Situationen, ähm die man vor Ort in der Nachbarschaft wiederfinden kann, auf Basis von
geographischen Daten. Also es geht hier nicht darum vorauszuschauen, ob eine Person kriminell wird und wenn ja, wo und wann. Ähm das wäre
fast wie ein Blick in die Kristallkugel. Das gibt es hier in Deutschland Gott sei Dank nicht.
Aber vorausschauende Polizeiarbeit ist ähm in Deutschland, wenn Nachbarschaften bestimmte Gebiete auf wiederkehrende Muster analysiert werden.
Also häufiger mal, weiß ich nicht, die äh Kriminalitätsrate höher ist, dann würde man hier Muster äh versuchen herauszudeuten aus den Daten, nicht nicht die,
nicht der Polizist selber, sondern eben das Algomische Entscheidungssystem, was er ansetzt, aber ja, das sind Groben. Aber ich glaube auch, Anita hat da im Zweifel.
Nochmal ein gutes ähm ein gutes Beispiel dabei.

Anita:
[10:25] Vielleicht eine Einlassung zu predictive ähm Policing, weil ich finde es zwei äh von diesen Punkten sehr gut illustriert, die Leila ja auch schon angesprochen hat, auf die man ein bisschen achten muss. Das eine ist, dass die Annahme von Predictive Policing auf einer wissenschaftlichen Theorie basiert, die heißt Niary P
und die besagt, dass wenn Einbrecherbanden einmal in der Gegend eingebrochen sind, dann ist es sehr wahrscheinlich, dass sie in derselben Gegend nochmal zuschlagen werden. Hintergrund ist, dann kennen sie die Fluchtwege, sie haben sich da schon mal irgendwie zurechtgelegt und warum weiterfahren?
Diese.
Grundlegende Theorie ist erstens umstritten, also ob das überhaupt stimmt, dass sie dann in demselben Wohngebiet zuschlagen und zweitens, was bei dem Einsatz von Predictive Policing auch häufig nicht berücksichtigt wird, ist das in dem Moment, wo ich
Wohnungseinbrüche, Messe mittels dieser Software, die also einfach die eingehenden Einbruchsmeldungen annimmt und dann
sie feststellt, da ist irgendwie eine lokale Kommunikation, dann informiert sie die Polizeistreifen, fahrt doch bitte in diesem Wohnviertel mehr Streife, da sind jetzt irgendwie in den letzten 24 Stunden dreimal hintereinander eingebrochen worden. Da ist offensichtlich eine Bande am Werk.
Macht erstmal total Sinn, führt aber zu zwei Ausweichbewegungen und das sind eben Sachen, die man mitbedenken muss, wenn man solche Systeme einsetzt. Die eine ist, dass ähm sobald die,
Banden mitbekommen haben, wie die Software funktioniert und da könnte die Pressemitteilung dezent Hinweise geliefert haben.

[11:45] Haben Sie äh angefangen dann eben Handtaschendiebstähle oder Fahrraddiebstähle zu begehen, weil die nicht aufgenommen wurden von der Software.
Inzwischen behoben, aber das war die erste Iteration. Das heißt, wir haben zwar die Wohnungseinbrüche messbar,
vermindert, haben aber die Zahl der Taschendiebstähle und die Zahl der Fahrradiebähle hochgefahren, weil den Einbrechern ist es halt egal. Unter uns, ob sie der Oma die Handtasche in der Wohnung klauen oder auf der Straße.
Und die zweite Ausweichstrategie, die sie gefahren haben, sobald sie wussten, wie das System funktioniert, haben sie eben zwei bis drei Einbrüche in Viertel A,
Vollzogen haben gewartet, bis die Polizei dort ihre Ressourcen hinschickt und sind dann in Viertel B ganz entspannt einkaufen gegangen, weil da war ja dann niemand.

[12:25] Und das ist auch ein Punkt, den wir berücksichtigen müssen, neben diesen Anreizsystemen ist es, dass es die Gesamtverfügbarkeit der Ressourcen nicht erhöht.
Also nur weil wir jetzt KI einsetzen können, wie die verfügbaren Polizisten vielleicht anders verteilen. Die Zahl der überhaupt verfügbaren Polizisten erhöhen wir damit nicht. Und das sind vielleicht zwei.
Finde ich sehr
Einsichtige Beispiele für die Begrenzungen, die der Einsatz von KI mit sich bringt und wo einfach diese Handreichungen von Leyla mit den 22 Schritten hilft, dass sowas nicht erst im Nachhinein total logisch erscheint, so wie wir jetzt alle nicken.
Die Hörerinnen nicht sehen, sondern dass wir so was vielleicht noch bevor wir's implementieren uns die Frage stellen, ob wir Anreizsysteme verändern.

Lajla:
[13:06] Wenn ich da ganz kurz rein kann, Anita, ähm ich ich dachte auch, das sind also die Punkte, die du ansprichst, das sind im Grunde genommen die ersten zwei Schritte der Handreichung. Ziele formulieren,
Wirkung abschätzen und das heißt also, wenn du den erst wenn das erste Ziel also wenn du den ersten Schritt verfolgst, dann passiert dir nicht das, was leider Gottes noch
immer viel zu häufig
passiert, nämlich dieser Verfall in Techno Solutions. Ähm der Glaube, dass Technologie alle gesellschaftlichen Probleme löst. Und wenn du am Anfang ähm eben das Ziel formulierst ähm für das Entscheidungssystem,
dann wird es dir nicht passieren, dass du glaubst, dass äh beispielsweise die Kriminalität insgesamt bekämpft
werden kann und gelöst werden kann äh durch den Einsatz von KI. Das wird dir nicht passieren. Du wirst darauf nicht reinfallen ähm als Verwaltungsmitarbeiter oder Mitarbeiterinnen oder auch als Führungskraft und das zweite Wirkung abschätzen,
Da gilt es also nicht erst im Nachgang, sondern vorab eben einmal zu ähm ja auch eine Art Technikfolgeabschätzungen zu machen, zu überlegen, welche ja
wenn dann Beziehungen folgen, denn wenn ich die äh wenn ich das KI-System einsetze ähm und.

[14:17] Das sind die ersten Basic, die die ersten zwei Schritte und ähm die haben nichts mit IT-Kenntnissen unbedingt zu tun. Dafür brauche ich keine Entwicklerinnen, keine Programmiererinnen, sondern
eigentlich Expertinnen aus dem Fachbereichen, ähm die ich hier konsultiere, die Betroffenen.
Ähm Region wie auch immer Nachbarschafts ähm Nachbarschaftsbetroffenen ähm und dann kann ich ein gutes erstes Bild skizzieren
über diesen Einsatz von.

Torsten:
[14:45] Ja, so eine kleine Nachfrage von mir hat uns gleich komplett abgebracht vom vom Pfad. Ähm äh so KI-Systeme sind ja immer dafür da, äh um.
Zu unterstützen, also quasi Assistenzsysteme, um äh den Menschen zu entlasten oder den Menschen Entscheidungs äh Hilfen zu geben. Wenn wir's in der öffentlichen Verwaltung einsetzen, sollte das ja.
Wahrscheinlich auch dem Gemeinwohl dienen. Ihr lacht alle so so schön ähm warum?
Warum äh sollte das dem Allgemeinwohl dienen und äh nicht einfach so zack wir machen alles automatisiert, da geht's schneller, sparen wir uns einen Haufen Geld.

Lajla:
[15:18] Ja im Grunde genommen äh bringst du mich so ein bisschen auf das Thema ja Gemeinwohlorientierung ähm und ähm da leuchtet leuchtet meine Augen natürlich ähm aus der Zivilgesellschaft, weil hm was wir sehen.
Ist ein also insgesamt in der Gesellschaft natürlich so ein Effizienz getriebener Leistungsgedanke, also KI-Systeme, die uns schneller
weiterbringen. Und ähm grade die Verwaltung ähm oder der öffentliche äh die öffentliche Hand kann hier eine Vorbildfunktion einnehmen und zeigen, dass KI-Systeme vielleicht Prozesse auch schneller machen können, aber in erster Linie vor allem
ja Mehrwert an gesellschaftlichen Mehrwert äh bieten sollten und deshalb ähm,
finde ich das ganz toll, wenn der Staat KI und äh KI-Systeme beziehungsweise allgrömische Entscheidungssysteme einsetzt, immer dort, wo der Gesellschaft daraus ein Nutzen entstehen kann und,
Davon gibt es leider Gottes noch zu wenig äh noch zu äh zu wenige Beispiele. Das haben wir auch mal in einer Medienanalyse gezeigt. Ähm da haben wir aufgezeigt, dass,
im Grunde genommen der Diskurs rund um KI und Algorithmen, vor allem von Unternehmen getrieben wird, vor allem mit dem Fokus auf Effizienz und schnelle Gewinne und hier müssen wir, glaube ich, insgesamt in der Gesellschaft zu einem Wandel kommen ähm und uns überlegen, wo kann Techno.
Eingesetzt werden, um ein Gemeinwohl-Nutzen zu stiften und wie gesagt, die Verwaltung ist eigentlich eine schöne Spielwiese dafür.

Anita:
[16:43] Ich hätte noch eine äh ketzerische Antwort aus Verwaltungssicht äh und zwar Verwaltung müsste idealerweise dem Gemeinwohl dienen. Das ist uns vielleicht in der Verwaltung nicht in jedem Tag unseres Lebens so bewusst, aber das ist der eigentliche Auftrag.
KI hilft uns somit unseren eigenen Daseinszweck zu erfüllen.

Torsten:
[17:01] So also nicht nur Verwaltung sondern auch Staat hat dem Allgemeinwohl zu dienen. Ähm.
Wo ich vorhin noch grad noch hin wollte ist, ähm kennst du schon Anwendungen oder kennt ihr schon Anwendungen, äh die in der öffentlichen Verwaltung schon vorhanden sind? Es werden wahrscheinlich nicht noch nicht so viele sein, oder?

Anita:
[17:19] Das kommt tatsächlich darauf an, wo man die Definition eines algorithmischen Systems ansetzt. Also wenn man diesen Buzzword-Begriff KI mal auseinander nimmt, dann verstehen darunter ja die meisten Leute irgendwie Roboter, die selbstständig lernen, selbstfahrende Autos und so weiter.
Äh dass es tatsächlich noch in Entwicklung, wenn wir ein bisschen tiefer gehen, mein Lieblingsanwendungsbeispiel ist die Handy-App,
der Behördenschreiben automatisch übersetzt werden können. Vielleicht zur Erklärung, ich habe einen Nichtdeutschen äh Hintergrund. Meine Eltern haben Deutsch nicht als Muttersprache. Diese Behördenschreiben sind echt schwierig. Und ich habe ein Einschulungsschreiben bekommen mit drei Schularten und meine Eltern dachten sich, cool, Hauptschule, Haupt ist immer die größte Straße, Hauptstraße, also das Hauptschule, auch die beste Schule, da schicken wir das Kind hin.
Jetzt gibt es auf diesem Schreiben einen kleinen QA-Code unten rechts auf dem Papier. Das holen sich meine Eltern über die Handy-App
halten die Kamera über das Schreiben und kriegen es automatisch in ihre Muttersprache übersetzt.
Fachbegriff Augmented Reality. Das geht schon und es führt einfach dazu, dass diejenigen Bürgerinnen, die unglücklicherweise unsere schöne Sprache nicht mit Geburt gelernt haben, trotzdem eine Chance haben, mit uns als Verwaltung zu interagieren
Und ich muss sagen, sogar als Deutsche Muttersprachlerin profitiere ich manchmal davon ja gewisse Schreiben nochmal in leichter Sprache durchzulesen.

Torsten:
[18:32] Aber das ist nicht dieses System von Google, das ist ein extra eigenes System, oder?

Anita:
[18:36] Äh gilt sowohl als auch. Auch das ist noch mal ein Punkt, auf den wir vielleicht später kommen können, sowohl Eigenentwicklung als auch ähm dritte Parteienanbieter können wir in so was einbinden?

Torsten:
[18:45] Hast du dann ein konkretes Beispiel? Also ich würde es gerne in der in den Shownotes auch mit verlinken, dass man sich das mal anschauen kann.

Anita:
[18:50] Gerne einen Link zuschicken.

Torsten:
[18:52] Okay, also da ist quasi ein QR-Code auf das Dokument aufgedruckt und da lade ich mir quasi dann die Übersetzung runter.

Anita:
[18:58] Hältst deine Kamera auf den Brief und dann erscheint er in Farsi, Türkisch.
Was auch immer du anwählst. Die Übersetzung ist so wie Google Übersetzungen allgemein sind, von der Qualität, aber es hilft halt trotzdem schon mal im Vergleich zu dem, was du als nicht Muttersprachler mit einem deutschen Behördenbrief sonst anfangen könntest.

Torsten:
[19:14] In dann übersetzt und nicht irgendwie okay, weil man könnte ja theoretisch auch hinter dem QR-Code das Schreiben nochmal in äh in in einer echten Sprache nicht nur so eine äh Sofortübersetzung ablegen.

Anita:
[19:28] Könnte man, wäre dann aber tatsächlich gar nicht mehr KI.

Torsten:
[19:31] Nö man muss ja nicht überall KI einsetzen. Wo wobei wir wieder bei Lösungen und Problemen wären.

Lajla:
[19:37] Aber vielleicht nochmal um hier anzusetzen. Ähm du fragst ähm kennt ihr Beispiele? Gibt es Beispiele ähm ich glaube, das Nummer eins Problem hier ist, dass ähm wir,
in der Verwaltung selbst, aber auch darüber hinaus, keinen regelmäßigen
und äh allumfassenden Überblick über alle angewendeten algorithmischen Entscheidungssysteme bekommen. Also ich rede hier nicht von den intelligenten Excelisten, sondern wirklich von den Systemen, die einen Einfluss auf unser
gesellschaftliches Zusammenleben haben und die Verwaltung hat an der Stelle ein großes,
Problem und das ist ähm nicht nur zulasten der Bürgerinnen, sondern eben auch zulasten der Verwaltung selbst, die eben nicht in der Lage ist, mal eben so,
von der Stadt Mönchengladbach zu lernen, die vielleicht schon Systeme einsetzt oder von äh Bayern ähm ähm was insgesamt auf der Landesebene entsprechend ähm schon Systeme einsetzt und.
Wir aus der Zivilgesellschaft können da eben nur insofern helfen, als dass wir beispielsweise mit einem Automating Society Report, den wir zusammen mit gemacht haben,
alle ähm Fallbeispiele, die uns spannend erschienen, auch mal gemappt haben und da waren dann auch so Sachen dabei wie ein Krisen- und Konflikt ähm ähm.
System, was ähm aktuell vom Auswärtigen Amt.

[20:55] Eben im Vorfeld schon Krisen und Konfliktherde identifizieren soll. Vor dem Hintergrund der aktuellen Situation ähm ist das natürlich ein.
Der riskantes und brisantes Beispiel und davon wissen leider nur die wenigsten.
Das auswärtige Amt hat da auch nur einen halben Absatz auf ihrer äh Webseite zu veröffentlicht und das finde ich eine vertane Chance für uns als Gesellschaft, aber auch für die öffentliche Hand als solche.

Anita:
[21:20] Vielleicht um um da noch was für die Show Notes auch reinzupacken. Es gab in den letzten Wochen eine Anfrage einer linken Abgeordneten wie viele KI-Systeme tatsächlich eingesetzt werden von der Bundesregierung.
Ich fand ähm zwei Aspekte interessant, also raus kamen über 80 verschiedene Systeme, die allein auf Bundesebene bisher eingesetzt werden.
Davon hatte er gesagt eins, ein systematisches Risikomanagementsystem.
Ich sage nicht, dass alle 80 ein System haben müssten, ja? Wir können auch nachher nochmal über Kritikalitätseinschätzungen sprechen. Aber eins von 80 erscheint mir zu gering. Ähm.
Und das Zweite, was die Anfrage gezeigt hat, der komplette Sicherheitsbereich wurde ausgeklammert.
Aus Vertrauensschutzargumenten, ich kann es in Teilen verstehen, aber auch das macht natürlich die Arbeit von NGOs wie Leylas äh Verein. Schwierig, weil ein Teil der kompletten.
Was passiert, passiert abseits von Ziegel im Overside.

Torsten:
[22:14] Ja, das ist generell bei den ganzen äh Ermittlungsbehörden ist es schwierig, da überhaupt Informationen zu bekommen, was ich auch sehr schade finde, weil was was passiert denn, wenn das Tool offengelegt wird? Es geht ja immer um die Algorithmen dahinter.

Lajla:
[22:28] Die Antworten würden uns teilweise nicht erschrecken und irritieren, sondern im Zweifel eher zum Gegenteil führen, nämlich dass Bürgerinnen wissen, das sind gar nicht so schlimme Systeme, sondern im Zweifel entlasten sie die ähm,
auch ähm zeitlich überforderten ähm ja Verwaltungsmitarbeitenden und das ist.
Wie gesagt eine vertane Chance. Ähm ich möchte vielleicht noch zwei Punkte machen in aller Kürze. Ähm
die Verwaltung kann hier auch meiner Meinung nach einen Schritt äh vorwärts gehen und auch eine Vorbildfunktion ähm ausfüllen, indem Sie beispielsweise auf Transparenzregister setzt, also indem Sie sich,
ähm aus Amsterdam und Helsinki ähm anschließt und KI-Register implementiert,
im Projekt ähm werden tatsächlich jetzt an dieser Idee weiterarbeiten und freuen uns über jede Verwaltungsbehörde, die da Lust zu hat,
ähm sich mit uns austauschen würde. So ähm solche KI-Register wären an dieser Stelle in jedem Fall ein ganz praktische Hilfe. Und der zweite Punkt geht dann in Richtung.

[23:30] KI-Verordnung. Ich glaube, grade Anita hat hier eine große Expertise und kann dann auch ein paar Punkte einbringen, ähm aber im Groben und Ganzen zeigt sich auch schon ähm
Das ähm nicht alle Systeme unbedingt gleichermaßen aufgelistet werden müssen beziehungsweise äh beziehungsweise dieselbe Aufmerksamkeit ähm
Aufmerksamkeit
äh brauchen. Ich habe am Anfang gesagt, ich rede nicht von der ähm intelligenten Excel-Liste. Die würde unter der aktuellen KI-Verordnungsdebatte auf europäischer Ebene gar nicht unbedingt ähm
überhaupt unter äh also Beachtung finden, weil die gar nicht so ein großes gesellschaftliches Risiko hat.
Aber tatsächlich ein großes Risiko hätte, sind Anwendungen wie beispielsweise Gesichtserkennungstechnologien und ähm hier müssen wir auf jeden Fall auch in Zukunft
ähm ja einen Blick drauf werfen.

Torsten:
[24:22] Du hast grad KI-Verordnung gesagt, auf äh wenn ich mich recht entsinne, auf EU-Ebene. Ähm.
Was ist denn die KI Verordnung? Ist das tatsächlich ein Gesetz, äh was das Ganze versucht hier ähm das Ganze ein bisschen einzufangen, ein bisschen äh einzuhegen und äh in in gerichtete Bahnen zu lenken?

Anita:
[24:39] Gesetz ist es leider noch nicht. Es ist derzeit ein Entwurf. Die Europäische Kommission hat den vorgelegt und vielleicht der beste Vergleich ist, wir kennen die Datenschutzgrundverordnung, was Ähnliches wird versucht dort zu machen für KI, das heißt, das ist der Versuch EU-weit Standards
äh und regulative Rahmen zu geben dafür, wie KI angewendet werden kann. Und Herzstück des Ganzen ist die von leider grade angedeutete Kritikalitätseinstufung. Also es gibt vier Stufen,
von völlig unkritisch. Mein Beispiel dafür ist immer, wenn der Wirt seine Schrauben mit Bilderkennung nach äh gute Schraube schlechte Schraube sortiert, dann haben wir da, glaube ich, gemeinwohlorientiert,
Probleme mit in dem Moment, wo die Gesichtserkennung am äh Bahnhof Südkreuz mich als Mensch einstuft und ich eventuell polizeiliche Maßnahmen.
Reinkomme, dann kommt das in eine Kritikalitätsstufe 3 und es gibt noch eine Kritikalitätsstufe vier für gesellschaftlich inakzeptabel.

Torsten:
[25:31] Was ist wäre das zum Beispiel gesellschaftlich inakzeptabel?

Anita:
[25:34] Gesellschaftlich inakzeptabel wäre zum Beispiel etwas, wo du auf Basis deiner medizinischen Daten eingeschätzt wirst. Also wenn du Raucher bist, dann kriegst du keine Krankenversicherung mehr. Das ginge.
Perspektivisch haben wir uns aber in als Gesellschaft in Europa einfach drauf geeinigt, dass wir das nicht haben wollen oder das berühmte chinesische Social-Storing-System, also in China bekommst du Bürgerpunkte für
gutes und schlechtes Verhalten. Auch das wollen wir in Europa nicht. Das wäre ein Kapiersysteme.
Der große Vorteil dieser dieser KI-Verordnung ist, dass sie eben dadurch ähm durch diese vier Stufen
versucht ein Gleichgewicht zu schlagen zwischen Innovation einerseits. Also wir wollen nicht alle KI-Systeme in regulativen Anforderungen ersticken.
Gleichzeitig müssen wir aber eben dafür sorgen, dass es auch nicht mehr der Wilde Westen ist, dass es bis eben eben war.
Deswegen wird dieses diese Verordnung momentan äh heiß umstritten debattiert mit sehr unterschiedlichen Interessen vertretenden, die da aus allen Richtungen zerren.

Torsten:
[26:27] Und äh gibt's da auch Bestrebungen in in Deutschland da Gesetze zu finden oder äh wartet man erstmal die äh Verordnung auf äh Europaebene ab.

Anita:
[26:35] Ähm die Verordnung würde durchgreifen, also die würde auch für uns gelten.
Ähm und tatsächlich hat das die nationalen Diskurse, die wir bisher hatten und da gab's zum Beispiel eine Enquete-Kommission, die sich auch mit solchen KI-Standards beschäftigt hat. Ähm,
Die werden jetzt eingebunden auf dieser europäischen Ebene, weil wir jetzt natürlich versuchen.
Dort mitzuziehen, inwieweit das dann operationalisiert werden kann für Deutschland war eben Teil
äh des Papers, was wir mit Next geschrieben haben und geguckt haben, wie dieses dieser europäische Rahmen auf das Deutsche doch sehr föderal und sektoral differenzierte System angepasst werden könnte.

Torsten:
[27:12] Gehen wir doch mal wieder zurück ein bisschen in die in die Technik, nachdem wir jetzt grad so einen Ausflug in die juristische Ecke gemacht haben. Ähm solche KI-Systeme für die öffentliche Verwaltung,
von irgendjemanden auch programmiert. Wer wer legt denn fest, wie so ein KI-System
zu funktionieren hat, machen das die Verwaltungen selbst, machen das Dienstleister, ähm wahrscheinlich gibt's einen Idealweg.

Anita:
[27:35] Es sind also ähm wir unterscheiden bei der PD eigentlich so drei, ich sage mal, Eingangskanäle ähm der erste ist, es gibt ein fachliches Problem
was die Verwaltung lösen möchte, also zum Beispiel ich möchte irgendwie Kitaplätze besser verteilen. Da gibt's auch ein sehr spannendes Paper von der Bertelsmann Stiftung zu und wir kommen aus einer Fachlichkeit.
Weg 2 ist, wir kommen aus dem politischen Wunsch, doch bitte was mit KI zu machen.
Ähm lasse ich einfach so stehen. Und Weg 3 ist, wir kommen von Anbietenden. Also da kommt eben das Start-up. Da kommt ein Anbieter aus irgendeiner KI-Ecke und sagt, ich habe eine Lösung und ich suche jemanden mit Problem.
Und diese drei Eingangskanäle sind die, die wir am häufigsten erleben, Ausnahmen bestätigen die Regel.

Lajla:
[28:20] Vielleicht sollte man dazu auch sagen, dass es keine Prozesse sind, die über Nacht ablaufen. Also grade das Fallbeispiel aus Österreich, wo das ja Äquivalent des Arbeitsamtes sozusagen einen Algorithmus eingesetzt hat
äh um Arbeitssuchende zu äh einzugruppieren. Ähm das waren Prozess, da war der das politische Signal
ähm im Grunde genommen acht Jahre vom wirklichen Einsatztesteinsatz,
erfolgt. Heißt also, wir sprechen hier fast von Dekaden, ähm die äh die es
braucht, ja, um äh äh von der Idee zum Einsatz eines Algorithmus zu kommen, da ist die Verwaltung in jedem Fall etwas langsamer als die Wirtschaft
ähm das hat aber ab und zu mal Vorteile und ich glaube aber, dass die nicht ausreichend genutzt werden. Denn neben den Eingangskanälen, die Anita erwähnt hat, ähm gibt es eben auch, also da nochmal die Unterteilung,
entwickelt die Verwaltung selbst, also holt sie sich äh die IT-Expertinnen,
ins Haus und entwickelt durch die Mitarbeitenden das System oder,
beschafft es das System, also bezahlt im Grunde genommen externe Dienstleister für die Entwicklung des Systems.

[29:32] Oder wir haben hier auch eine Art Förder, einen Förderweg, wo man entsprechende Förderung ausschreibt und darauf bewerben sich dann Externe. Und.
Diese drei Wege haben ihre Vor- und Nachteile und ähm das hat viel damit zu tun, dass dem Staat aktuell auch viele Kompetenzen fehlen und im Grunde genommen,
Beschaffung wahrscheinlich eines der häufigsten Wege ist und hier gibt es richtig viele.
Fallstricke und Sachen zu beachten, beispielsweise die Abhängigkeit von großen Tech-Unternehmen, aber da kann Anita, glaube ich, auch aus ihrer Zauberkiste der Praxis sprechen.
Für Herausforderungen auf einen warten.

Torsten:
[30:09] Ja, ich möchte vielleicht noch mal kurz äh reingrätschen. Ich möchte immer äh ich versuche mal zu vermeiden, dass man sagt, ja der Staat ähm äh wir sind ja hier äh,
Föderal aufgebaut und äh sehr, sehr viel. Also wenn ich die Hauptaufgaben hängen an den Kommunen und wir haben 11.000 Kommunen in Deutschland und ich stelle mir grad vor,
irgendeiner großen Stadt an. Hamburg, München, Berlin und setzen dann ein KI-System zum Beispiel im im Sozialamt ein und lernen das dort an.
Es wird dort angelernt, das kann ich doch niemals auf auf ganz Deutschland ausrollen, weil jede dieser 11.000 Kommunen hat andere Anforderungen und hat auch eine andere Bevölkerungsschicht. Also da das skaliert ganz einfach nicht.
Also so viel so viele Experten gibt's gar nicht in Deutschland.

Anita:
[30:56] Da würde ich vielleicht versuchen zu differenzieren. Ähm ich gebe dir völlig recht, dass so ein sehr sozialkontextabhängiges System skaliert nicht und das ist etwas, was.
Eben auch ein besonderes
Liegen ist und da, glaube ich, meine ich mit uns, Leila und mich, genau darauf hinzuweisen. Also gerade wenn wir jetzt über Kitaplatzverteilung reden, ist es zum Beispiel unterschiedlich. Manche Kommunen möchten Muttersprache, besonders als Kriterium hervorheben, andere wollen Entfernung zum Wohnort.
Das ist eine völlig legitime politische Entscheidung, die halt mit der Technologie drunter nichts zu tun,
Also erste Differenzierung ist, wie sozial eingebettet ist, das System im Gegenzug dazu, diese Behördenübersetzung ist relativ wenig sozial eingesetzt. Dies eingebettet, die skaliert relativ gut, weil der Text, also die Wörter, sind in jeder Kommune die gleichen, solange sie hochdeutsch sprechen.

[31:42] Ähm die zweite Differenzierung ähm ist für mich die.
Ich habe einen technischen Teil und ich habe eben diese Einbettungsteil. Also die Technologie des Algorithmuses die skaliert,
Das ist etwas, was ich sehr bedaure, das genau und zwar auf kommunaler Ebene, mehr als irgendwo sonst diese Kommunen miteinander ihre Beispiele nicht wirklich austauschen und da kann ich nur noch mal auf Next verweisen, da gibt's eine Community,
und KI, wo genau dieses, schaut mal, wir haben das gemacht, das funktioniert gut.
Wo die Verwaltung miteinander ins Gespräch, über diese ganz pragmatischen, kleinen Lösungen QR-Codes auf Schreiben, Buffet, Einlesung von Immatrikulationsbescheinigungen.
Minimal invasiv, aber super hilfreich. Und dieser Austausch passiert zu wenig, weil die Technologie könnten sie eben skalieren und dann müssten sie nur noch in Anführungszeichen diese soziale Einbettung anpassen.

[32:34] Aber den technischen Teil von einer Kommune zum nächsten weitergeben oder sogar gemeinsam entwickeln. Man könnte als mit acht Kommunen zusammen so ein System entwickeln und dann zur Nachnutzung anbieten an andere.

Torsten:
[32:44] Ja aber dann haben wir müssen wir die Kompetenzen für dieses Training einer solchen KI weil die KI kann das ja nicht von sich aus, die muss ja trainiert werden. Äh die Kompetenzen müssten ja dann in den in den Kommunen Verwaltungen vorgehalten werden.

Anita:
[32:57] Also in großen Kommunen ist das möglich. In kleinen Kommunen müssen die ausgegliedert werden. Ähm.
Da gibt's jetzt zum einen Beratungen, wo ich äh aus persönlicher Betroffenheit keinen Werbeslogan dafür einbaue, aber das geht
ähm und das andere sind tatsächlich Kompetenzzentren, über die man einfach nachdenken muss und auch das ist was, was wir in dem Nextpaper ähm sehr explizit aufgeschrieben haben, wenn diese KI-Verordnung kommt und damit der ganze regulative Überbau auf die Kommunen ein
bricht.
Damit einhergeht, brauchen die Kommunen Unterstützung und wir brauchen kommunale Kompetenzzentren, die sowohl diese ganze Aufbauentwicklung, Einbettungsfragen, aber auch eben Prüfung, Zertifizierung, Evaluation für die Übernehmen, das kann keine Kommune leisten.

Torsten:
[33:37] Mhm. Da ist ja schon schwierig bei OZG. Aber leider entschuldige ich, ich habe die unterbrochen.

Lajla:
[33:41] Ja? Nein, ähm ich finde, das ist ein gutes Stichwort, ähm weil wir müssen weg von dieser Leuchtturm ähm Thematik an der Stelle. Ich glaube, wir hatten auch schon mal drüber gesprochen, Thorsten.

Torsten:
[33:52] Darüber haben wir uns kennengelernt, über die.

Lajla:
[33:54] Wir hören halt also von dem Fall in äh hinter Toffingen ähm und diese eine Fall ist jetzt das Leuchtturmprojekt äh für den Einsatz von KI in der Verwaltung. Wir müssen weg von dieser Mentalität, dass eben,
der Gewinner alles bekommt, nämlich die ganze Aufmerksamkeit, die ganzen Gelder, sondern wir müssen
eher dahin eben äh zu kooperieren vom internationalen Ausland zu lernen, denn die setzen in ähm weiten Teilen agrytische Entscheidungssysteme schon auch manchmal
ein als wir, Amsterdam und Helsinki ähm als gutes Beispiel genannt,
deshalb müssen wir weg von Leuchttürmen und mehr in Richtung Kooperation und ähm deswegen ähm finde ich das Thema.
Austausch unter den Behörden Austausch über die Kommunen hinweg ganz ganz toll und kann Anitas Punkt dann nur noch ähm bestätigen und ähm verstärken.

Anita:
[34:48] Vielleicht so wie so ein Kompetenzzentrum für mich aussehen könnte. In meinem Kopf ist das im ersten
Moment einer Homepage, auf der ein Werkzeugkasten aufleuchtet mit verschiedenen Kacheln und dann kommt da das fachliche Problem. Ich hatte vorher über diese Eintrittspunkte gesprochen und für mich steht die Fachlösung in der Mitte, dass das ich als kommunaler Mitarbeitender würde dann anklicken, da ich möchte Kitaplätze verteilen
Und hinter der Karre kommt dann, es gibt diese technischen Systeme. Diese Organisationen können dir helfen, das zu implementieren. Da sind Kontakte,
wende dich an diese Leute und wenn du irgendwo Fragen hast, dann ist hier die Nummer von Kompetenzmitarbeitender XY, ruf da an, wir helfen dir.
Ich glaube dieses.
Das ist ja erstmal nur eine Sammlung von Informationen und von Beispielen, aber allein diese Informationssammlung aus einer fachlichen Perspektive nicht aus einer technologischen heraus. Würde ganz viele Berührungsängste in der Verwaltung abbauen.
Bei dem Thema KI.

Torsten:
[35:39] Ja, ich befürchte allerdings, äh das äh spreche ich aus äh Erfahrung äh der letzten Jahre ähm.
Diejenigen, die diese KI-Systeme trainieren könnten oder das Know-how hätten, das sind die Sachbearbeiterinnen und die Sachbearbeiterinnen, die trauen sich überhaupt nicht.
So einen Button zu klicken. Die gehen zu ihrem IT-Leiter und sagen, hier guck mal, ich brauche da was, ich habe mal was gehört, da geht's irgendwas mit Intelligenz. Mach mal.
Und der geht läuft dann los mit diesen dünnen Informationen und macht dann mal irgendwas.
Und äh hofft dann, dass äh seine Sachbearbeiterin damit zufrieden sind. Also ähm da fehlt einfach auch die,
der Weitblick, was überhaupt äh im Markt über überhaupt möglich ist, was es überhaupt gibt, welche Möglichkeiten es da gibt. Da gibt's zu viele Tellerränder, über die nicht drüber hinausgeschaut wird.

Anita:
[36:29] Da vielleicht auch eine Beobachtung, die mich immer wieder überrascht, wenn wir anfangen, ähm also wir jetzt als SPD mit solchen Prozessen, das ist das Erste, was wir machen, uns zusammenzusetzen mit den fachlichen Ebenen, also eben den Sachbearbeiterinnen.
Und wir kriegen sehr oft die überraschte Rückmeldung aus der IT. Was will denn die Sachbearbeiterin in dem Termin? Das ist doch ein IT-Thema. Nein, ist es nicht.
Ähm und genauso, ich will eigentlich idealerweise auch den Bürgermeister dabei haben, weil da sind politische Entscheidungen, die er nachher verteidigen muss vor wütenden Eltern, Anwendern, wie auch immer und diese.
Interdisziplinär ist immer ein viel bemühtes Wort, aber diese interdisziplinären Workshops um erstmal drüber zu reden, welches gesellschaftliche Problem lösen wir hier grade,
die haben weder die technischen Umsetzungden, noch die fachlichen Umsetzenden aufm Schirm, dass sie einander brauchen. Keiner von denen kann das alleine.

Lajla:
[37:15] Ja um da nochmal reinzugehen. Am Ende des Tages geht's ja auch nicht darum das perfekte alrytmische oder technische System zu finden, sondern das perfekte oder ein sehr gutes Zusammenspiel zwischen Mensch und Technik und deshalb ist es umso wichtiger,
wirklich alle mitzunehmen, ähm die beim Einsatz von
Technik auch gefragt sind und das sind neben den Betroffenen, ähm die darunter im Zweifel auch leiden, eben vor allem die Leute an der,
Ja, an der algorithmischen Front, die algorithmische Systeme ähm ja in ihrer alltagsberuflichen Praxis einsetzen müssen und dabei spielt das Thema Kompetenz und Vertrauen eine riesige Rolle. Denn ähm
Also es gibt so was wie so eine Algorithmische Aversion. Ähm das hat man festgestellt, es gibt manche Situationen, wo der Rat eines Algorithmus.

[38:06] Konsequent abgelehnt wird, weil man der Technik
nicht glaubt und auf der anderen Seite gibt es so was wie so einen algorithmischen Übervertrauen, also Situationen, wo wir der Technik,
zu viel Vertrauen und ähm wann diese Situation auftreten, also diese Aversion und dieses Übervertrauen, das wissen wir im Verwaltungskontext leider noch nicht genau genug.
Also da haben wir eine wirkliche
Wissenslücke, weil wir eben auch die Perspektive von Sachbearbeiterinnen nicht ordentlich mit einbeziehen in der Analyse, aber auch in der Anwendung von Systemen. Und hier könnte man auf jeden Fall noch mal mehr,
ja Forschung betreiben, aber auch irgendwie mehr den Blick in die Praxis äh wenden, um herauszufinden unter
Wie muss denn der Button gestaltet sein, ja, welche Farbe, welche Größe ähm wie muss der blinken oder muss der durch den Bildschirm also von einem zum nächsten Brand schweben, ähm damit am Ende des ähm äh Tages das Zusammenspiel
nicht auf Basis eines Übervertrauens oder eines ja desinteresses ähm äh passiert, sondern eben unter den besten Voraussetzungen.

Torsten:
[39:09] Noch einen kurzen Einschub. Also wer glaubt, dass das Thema Vertrauen in KI oder äh Misstrauen in KI ähm
nicht in der Praxis vorkommt, der muss bloß mal sein eigenes Verhalten bei der Navigation äh beobachten, vertraue ich dem, was das Navigationsgerät grad gesagt hat oder gucke ich nochmal hin, ob das wirklich sein kann.

Lajla:
[39:30] Ja, es hat auch viel mit der Experten ähm äh Position zu tun. Also eine geübte Autofahrerin wird wahrscheinlich ähm ja, dass äh die den Navi auch vielleicht vermenschlichen und sagen, nee
ähm du hör mal, ich kenne den Weg besser, ich fahre jetzt hier links ähm
eine ungeübtere Person könnte eventuell verleitet sein, den System zu viel Vertrauen zu schenken und im Zweifel den kürzeren Weg oder den schöneren Weg außer Acht zu lassen und von daher Vertrauen.
Hängen an dieser Stelle sehr eng zusammen.

Torsten:
[39:59] Ja da komme ich auch gleich auf ein Thema. Ähm so eine KI kann ja auch äh,
Hilfreich sein, um neue Mitarbeiterinnen einzuarbeiten. Äh wie passiert das aktuell? Aktuell werden die die ersten zwei, drei Wochen oder Monate neben eine erfahrene Sachbearbeiterin gesetzt und die gehen die Fälle gemeinsam durch.
Dann bekommen.
Die neue Mitarbeiterin, erste einfache leichte Fälle, weil die ja schon drangekommen sind und die kann man dann einfach äh bearbeiten. Ähm mit KI könnte ich mir diese drei Monate Einarbeitungszeit.
Relativ sparen, weil die KI ja Vorschläge machen könnte und sagen das haben wir ungefähr zehnmal so entschieden und dreimal so entschieden.

Anita:
[40:40] Ja, vielleicht ein kurzes, was kann, Kai, was kann KI nicht? Ähm in aller Kürze KI kann sehr gut mit standardisierten Situationen umgehen, die immer gleich entschieden werden. Das heißt, ein Beispiel würde überall dort
Äh funktionieren, wo die Fälle, die die Person bearbeitet, immer nach derselben Regel entschieden werden, was KI nicht gut kann und nicht mag, sind Ausnahmesituationen und Kontexte.
Damit kann sie nicht so gut.
Das heißt, dort, wo die Fälle, wo entweder einzelne Ausnahme Kriterien vorkommen oder wo es sehr kontextabhängig ist, da wie wie entschieden wird,
ist die Gefahr,
dass eine KI etwas standardisiert, was aber nicht standardisiert gehört und damit deiner neuen Mitarbeitenden falsche Informationen gibt und sie falsch einlernt, sehr hoch.
Auch das muss man eben berücksichtigen, wenn man so eine KI einführt, ähm sind die Prozesse, die dadurch abgenommen werden sollen, KI geeignet oder nicht.

Torsten:
[41:32] Jetzt spiele ich mal Advocatos Diaboli. Die Sachbearbeiterin würden natürlich von sich immer behaupten, dass jeder Fall individuell ist und keiner standardisiert, egal in welchem Amt man nachschaut.

Anita:
[41:42] Das ist tatsächlich ein ein großer Punkt, äh der uns auch oft begegnet, wenn wir KI einführen, dass wir erst mal den analogen Prozess angucken müssen
wir feststellen, wir sind noch gar nicht so weit, das überhaupt mit also die Frage ist noch gar nicht KI oder nicht, sondern der analoge Prozess ist ähm optimierungsbedürftig. Ähm.
Das da anzusetzen ist die zweite Überraschung nach. Wir wollen tatsächlich die Sachbearbeiterinnen äh einfügen, ist die zweite über äh Überraschung ist äh nee, wir machen vor der KI-Runde noch mal so eine analoge.

Torsten:
[42:11] Du wolltest noch ein Zitat bringen, glaube ich, klar.

Lajla:
[42:13] Ja der Chat, der Backchannel hier.
Ja, also im Grunde genommen, also ich ich kann's nicht besser sagen als dieses viel äh genutzte Zitat, hast so ein Scheißprozess, ähm den du digitalisierst, hast du einen scheiß digitalen Prozess
Also am Ende des Tages ist die Ausgangslage ähm die entscheidende und äh sich die genau anzuschauen ähm das Credo deshalb Anita, du hast total recht
aber vielleicht nochmal.
Noch grundsätzlicher gefragt, wir nutzen ja KI-Systeme nicht oder Entscheidungssysteme, weil die so schön shiny und fancy sind und glänzen und äh schön teuer sind, sondern weil wir realisiert haben, dass bestimmte.
Ja
Prozesse, bestimmte Aufgaben so routiniert ablaufen, dass man im Grunde genommen nicht die kreative Denkleistung durch einen Menschen braucht.
Für diese Prozesse, für diese Momente sind KI und Aliment-Systeme total super.
Im besten Falle hat man dann mehr Zeit fürs Wesentliche, mehr Zeit für die wirklich
kniffligen und kreativen Fragestellungen. Das heißt also vor dem Hintergrund des demographischen Wandels in der Verwaltung vor dem Hintergrund, dass immer mehr Aufgaben und immer weniger Menschen ähm vor Ort sind, um diese zu erledigen, müssen wir
gut überlegen, wo können KI-Systeme uns wirklich Routineaufgaben abnehmen und wo haben wir vielleicht dadurch mehr Zeit für das wirklich Schwierige?

Torsten:
[43:39] Ich habe gleich noch eine Frage. Sind wir denn überhaupt rechtlich in Deutschland schon in der Verwaltung so weit, dass wir
Dinge automatisieren können. Also eins meiner Lieblingsbeispiele, was ich immer wieder bringe, weil dann habe ich seit über zehn Jahren zu tun. Ist die Beantragung einer Meldebescheinigung?
Beantragung einer Meldebescheinigung kann nicht negativ beschieden werden. Das ist ein Prozess, der einfach eigentlich super automatisiert geht,
Wir dürfen's aber nicht, weil es muss immer mindestens ein Mensch dazwischen sein, der nochmal einen Haken setzt und auf okay klickt. Also sind wir denn da schon so weit, dass wir das überhaupt machen können.

Anita:
[44:16] Äh ich bringe das Lieblingsquäleargument jedes OZG Verwaltungsmitarbeiten das Schriftform Erfordernis.
Killt tatsächlich auch mehr KI-Anwendungen als es Prozesse und Mitarbeitende tun.
Meine Hoffnung ist, dass wir uns in die richtige Richtung bewegen, mit der der Verwaltung eigenen Geschwindigkeit, aber mein Gefühl ist, dass wir zunehmend in die Position kommen, das rechtlich machen zu können und das eben auch diese EU-Vorgaben uns das Leben eher erleichtern als erschweren an der Front
Also noch können wir nicht alles automatisieren. Es geht einiges.
Auch diese rechtliche Prüfung gehört zu dem selben interdisziplinären Prozess wie die fachliche, technische, politische.

Torsten:
[44:54] Ja muss man nochmal sagen, bei Automatisierung ist nicht immer KI oder Algorithmus im Spiel. Manche Dinge müssen einfach haben einfach nur eine Ja-Nein-Entscheidung.

Anita:
[45:02] Ich möchte auch noch mal diesen Punkt aufgreifen, den du gerade gemacht hast von der muss der Mensch dazwischen sein, weil etwas, was ähm häufig als als Ausweg gezeigt wird, ist der sogenannte Human in the Loop, also in dem Moment, wo der Mensch am Ende entscheidet, ist irgendwie alles gut, weil der Mensch ist ja unfehlbar.
Ja und solange nur am Ende der Mensch irgendwie die Entscheidung der Mensch muss das letzte Wort haben, dann ist gut. Das finde ich aus drei Punkten verstörend. Erstens wissen wir alle, dass menschliche Entscheidungen nicht der Goldstandard sind und nicht sein sollten.
Zweitens und viel relevanter verschiebt es die Verantwortung für die getroffene Entscheidung vom Entwickler auf die arme Person, die das letzte Wort hat.
Was nicht immer die hochbezahltesten Menschen sind.
Ähm und drittens bringt es durch die Hintertür damit bestimmte Diskriminierungstatbestände wieder rein, also egal wie antidiskriminierend wir die KI gemacht haben, wenn der Mensch das letzte Wort hat, dann kann dadurch halt doch wieder.
Persönliche Vorliebe entscheiden und deswegen möchte ich hier auch einfach nochmal davor warnen, gerade in Verwaltungen werden gerne KI-Systeme als ungefährlicher betrachtet, bei denen Menschen am Ende entscheiden. Das stimmt nicht.
Wir müssen sehr genau hinschauen, was der Mensch entscheidet und unter welchen Bedingungen. Leila hatte schon gesagt, je nachdem, wo der Button platziert ist, ähm kommen wir zu anderen.
Formen als Menschen.

Torsten:
[46:15] Ja das stimmt. Jetzt haben wir schon ganz viel über Möglichkeiten gesprochen. Welche Möglichkeiten sie denn konkret, also Anwendungsmöglichkeiten seht ihr konkret äh für KI oder Algorithmen in der öffentlichen Verwaltung?

Lajla:
[46:29] Also ähm.

[46:30] Ich meine, was wir jetzt in den letzten Monaten oder Jahren versucht haben, es immer mal wieder ähm gute Fallbeispiele ähm zu, ja, zu verdeutlichen. Und jetzt zuletzt meine Kollegin Julia Gundler bei der Kitaplatzvergabe hat dort, glaube ich, gezeigt, ähm dass der Einsatz von Al Gripmen
wesentliches Problem
vor Ort lösen kann. Wenn ein Algorithmus beispielsweise eingesetzt wird, um die wenigen, zu wenigen Kitaplätze zu verteilen, dann können diese Entscheidungen fairer und gerechter und transparenter gemacht und gefällt werden. Ähm
Algorithmus würde nicht,
Das Problem lösen, dass die Kitaplätze insgesamt zu knapp sind, aber äh das weitverbreitete Problem in Berlin zumindest lösen, dass Eltern
elf Kuchen backen, die in elf Kitas schicken in der Hoffnung, dass sie ein der begehrten Plätze bekommen.
Da hätten wir durch den Einsatz von Algorithmen beispielsweise ganz klare Transparenz Kriterien. Ähm auch Chatbots ähm zum gewissen Teil bei routinierten Anfragen
da sehe ich total viele Chancen, wo ich ehrlicherweise nicht so viele Chancen fürs Gemeinwohl sehe, sind eben bei diesen
besonders kritischen Anwendungen, wenn es darum geht oder wenn beispielsweise Persönlichkeitsrechte ähm verhindert werden, wenn äh oder.

[47:45] Eingeschränkt werden, wenn wir Gesichtserkennungstechnologie im öffentlichen Raum haben, ohne dass die Technologie überhaupt so weit ist oder wir eine gesellschaftliche Debatte geführt haben. Dann ist der Einsatz von KI äh KI und Algripmen durch den Staat
eher ein Fehler als eine Chance.

Anita:
[48:01] Vielleicht um diese Beispiele von Laila nochmal in in so Kategorien einzuordnen. Ich sehe drei Arten von KI-Anwendungen, die für die Verwaltung für mich sinnvoll
erscheinen und das erste ist der Umgang mit Informationen. Also wir haben so wie in allen Bereichen sonst auch Unmengen an Daten und kein Mensch hat da den Überblick und das heißt, solche Prognosen wie zum Beispiel in welchem Viertel werden wie viele Kinder wann eingeschult werden?
Das kann man sehr schön mit KI aufbereiten. Da kann eine KI einfach helfen, informiertere Entscheidungen zu treffen.
Basiskategorie also Prognosendatenmanagement. Die zweite Kategorie für mich sind diese Automatisierungen. Also wir hatten äh vorher kleine Witze über OZG gemacht.
Back-End müssen ja immer noch die einzelnen Fachverwahren teilweise händisch übertragen werden. Also ich nehme den Datensatz, tippe ihn aus dem einen Fachverfahren ins andere Fachverfahren ab und damit kann ich mich gut und gerne acht Stunden beschäftigen, ohne auch nur eine eine graue Zelle bemüht haben zu müssen.
Das kann eine KI definitiv auch besser. Also diese ganzen Automatisierungsschnittstellen interoperativitätsfragen könnte eine KI besser machen.

Torsten:
[49:00] RPA, da gibt's auch bei der nächst äh eine Gruppe.

Anita:
[49:04] Genau, RPR ist eine Form dessen und
das letzte und da sind wir sehr nah an der Gemeinwohldebatte, die leider ja zum Glück auch vorantreibt, ist äh Bürgernähe
also mein liebstes Beispiel ist, ich habe zwei Kinder, ich musste im Wochenbett irgendwelche Elterngelddokumente zusammensuchen, die dem Staat alle längst vorlagen, händisch kopieren, zur Post schicken
einreichen, statt dass der Staat sich die einfach aus den jeweiligen Registern zusammensucht. Und da gibt es äh,
unser aller Überraschung, nordische Modelle, bei denen mir ein Elterngeldantrag zugeschickt wird und ich per Obd-Out sagen kann, passt oder passt nicht.
Das ist ein Beispiel dafür, wo ich Prozesse bürgerfreundlicher machen kann oder Chatbots.
Da kann ich einfach mein mein ich ja sage jetzt mal Interface in Richtung Kunden, wenn ich jetzt sehr wirtschaftlich formulieren will, deutlich verbessern mit KI.

Torsten:
[49:53] Ja, da bin ich wieder bei meinem Lieblingsthema Predictive äh Government. Weil wenn ein Kind geboren wird, das ist ja nicht überraschend, dass dann äh auch Elterngeldanträge gestellt werden, irgendwann auch die Einschulung ansteht. Also das äh kann ich alles mit so.
Vorherberechnungen und Vorhersagen äh tatsächlich auch.
Machen, da brauche ich noch nicht mal KI dafür, weil ich weiß, das Kind ist sechs und kommt mit sechs Jahren in die Schule. Da brauche ich noch nicht mal eine KI, da brauche ich noch rechnen kann.

Anita:
[50:19] Das Thema, wann man KI braucht und wann nicht ist, dann das Thema für den nächsten Podcast.

Torsten:
[50:23] Genau, noch eine Kurve, bevor wir jetzt hier in in die Abschlussrunde gehen. Wie geht's jetzt weiter bei dem ganzen Thema KI und öffentliche Verwaltung?

Lajla:
[50:31] Das ist jetzt der Blick in die Kristallkugel. Also im besten also im besten Fall geht es so weiter, ähm dass
äh die öffentliche Hand insgesamt äh das Thema Technologie ähm nicht
dystopisch und utopisch äh diskutiert. Also es geht nicht darum, dass wir jetzt alle Unkenrufen folgen und sagen, also der Einsatz von Algorithmen und KI wird all unser Untergang sein, denn das ist nicht der Fall. Wir haben heute diskutiert, es,
bestimmte Risiken, ähm die wir angehen können, wenn wir äh Prozesse klar strukturieren, ähm vielleicht den 22 Schritten aus der Handreichung folgen und uns noch Beraterinnen ins Haus holen. Ähm
aber diesen Risiken können wir insgesamt begegnen.

[51:14] Und auf der anderen Seite sollten wir aber auch nicht ähm hipp hurra rufen und überall die KI und ähm Algorithmen draufwerfen, ähm wo es irgendwie ja
glänzen und shiny ist, ähm sondern wirklich hier gut überlegen, wo stiftet der Einsatz von Technologie wirklich eine Hilfe? Welche Probleme können damit
ernsthaft gelöst werden ähm oder teilweise gelöst werden und was brauche ich eigentlich insgesamt, um die Technologie einzubetten? Und
wenn die Verwaltung diesem Credo folgt, also sowohl Risiken minimieren als auch Chancen aufzeigen oder Chancen nutzen, ähm dann sieht's eigentlich ganz gut aus.
Ähm und ich habe auch den Eindruck als ja, naive Optimistin, äh dass wir da eigentlich auf einem guten Weg sind, dass das viele Expertinnen bei Next
bei anderen ähm äh Vereinen gibt, die sich genau mit diesen Fragestellungen ernsthaft auseinandersetzen und deshalb glaube ich, dass es für uns und die Gesellschaft und die Menschheit ganz gut steht.

Anita:
[52:09] Würde das vielleicht noch in ein Bild verpacken, was man nicht so schnell vergisst. Es gibt das schön, den schönen Satzer Sex in der äh KI in der Verwaltung sei ein bisschen wie Sex. Alle reden drüber. Niemand hat ihn.
Ähm und ich finde, das Beispiel trägt insofern äh als dass wir die Lösung ist, weder keinen Sex zu haben, noch irgendwie
ungeschützt, sondern wir müssen irgendwie über Verhütung reden und wir müssen über Konsens reden. Aber dann können wir einfach richtig Spaß haben. Und ich freue mich auf den Spaß haben Teil.
Solang er eben im Rahmen passiert. So, das Bild müssen jetzt alle ausm Kopf.

Torsten:
[52:41] Den Podcast.

Lajla:
[52:43] Ihr seht es nicht, aber wir haben hier alle einen roten Kopf.

Torsten:
[52:47] Ja genau.
Aber vielen, vielen Dank für die äh für die letzte Stunde. Vielen Dank für eure Ausführungen. Ähm ich sehe schon, wir werden eine riesengroße Liste an Links zum zum Nachlesen haben.
Ich glaube, das Thema ist noch nicht nicht ausschöpfend äh besprochen. Ich denke, das ein oder andere werden wir hier noch äh,
noch mal besprechen. Vielen Dank Anita, Leyla,
Danke und äh wir sehen und hören uns wieder und an euch, liebe Hörerinnen und Hörer, danke fürs Zuhören. Bis zum nächsten Mal.

Einspieler