Im Mai und Juni 2022 hat der städtische IT-Dienstleister it@M seine Kundinnen und Kunden stadtweit nach ihrer Zufriedenheit mit den bereitgestellten Systemen und Services gefragt. Ziel der stadtweiten Umfrage war es, weitere Verbesserungspotenziale aufzudecken, um die angebotenen Dienstleistungen kontinuierlich zu optimieren. Für die Auswertung der Zufriedenheitsbefragung kam erstmals Künstliche Intelligenz (KI) zum Einsatz.
Ein Pilotprojekt für die Herausforderung Freitext
Die Zahl der IT-nutzenden Beschäftigten der Landeshauptstadt München (LHM), die von it@M betreut werden, liegt im fünfstelligen Bereich. Das Angebot umfasst zum einen die Bereitstellung der IT-Infrastruktur, also zum Beispiel Laptops, Drucker oder die technische Ausstattung von Besprechungsräumen. Zum anderen geht es um die Digitalisierung von bisher analogen Prozessen. Darüber hinaus werden die Mitarbeiterinnen und Mitarbeiter bei Fragen und IT-Problemen unterstützt.
Die letzte stadtweite IT-Zufriedenheitsumfrage war 2015. Seitdem hat sich in der IT der Landeshauptstadt München nicht nur organisatorisch sehr viel verändert. Deshalb war es besonders wichtig, den Befragten Möglichkeiten für individuelle Äußerungen anzubieten. Die Teilnehmenden konnten daher bei knapp 30 Fragen Freitextantworten geben.
Die daraus resultierende Menge an individuellen Antworten einzeln zu lesen, zu verstehen und einzuordnen hätte jedoch einen in der vorgegebenen Zeit nicht zu bewältigen Personaleinsatz bedeutet. Deshalb wurde ein Pilotprojekt zwischen it@M und digital@M, einer Digitalisierungstochter der LHM, aufgesetzt. Das Ziel war es, die Freitextantworten mithilfe von Künstlicher Intelligenz zu analysieren und zu bewerten.
Für den erforderlichen Datenschutz sorgten die Kolleginnen und Kollegen vom Statistischen Amt, die anonymisierte Ergebnisrohdaten der Umfrage zur Verfügung stellten.
Wie kann KI bei der Auswertung der Zufriedenheitsbefragung helfen?
KI-unterstützte Textanalyse erfasst automatisiert wiederkehrende Begriffe und Themen in den Freitextfeldern und schlägt eine bestimmte Kategorisierung der Antworten vor. Dies macht sie auf Basis von Algorithmen, die festgelegten Regeln folgen. KI kann daher nur lernen, wenn diese Regeln an die Gegebenheiten, in unserem Fall LHM-spezifisches Wissen, angepasst werden. Beispielsweise wurde der KI beigebracht, dass in Kommentaren, in denen von “coSys” oder “WollMux” die Rede ist, um Software zur Verwaltung und Nutzung von Vorlagen geht.
Die KI ist also lernfähig, aber nicht selbstlernend. Sie macht Vorschläge, muss aber mit kontextualem Wissen nachtrainiert werden. Das ist der Grund, warum sie die Menschen, die diese Gegebenheiten kennen, nicht gänzlich ersetzen kann.
So arbeitete bei it@M mit Unterstützung von digital@M ein mehrköpfiges Team daran, die automatisch aus den Antworten gebildeten Kategorien und Unterkategorien zu überprüfen und bei Bedarf zu verfeinern. Im Fachjargon nennt man das Nachtrainieren: Bestimmte Begriffe aus den Freitextantworten, die der Algorithmus noch nicht automatisiert erkennt, ordnet man manuell einer Kategorie zu. In anderen Fällen ist es sinnvoll, zwei Kategorien zusammenzuführen, so dass sie auf das gleiche Verbesserungspotenzial zielten.
Mehrwert auch für weitere Zufriedenheitsbefragungen
Auf diese Weise entstand ein sogenanntes Codebuch, eine Art Anleitung über die Vorgehensweise für die KI. Es kann bei künftigen IT-Zufriedenheitsbefragungen gut wieder eingesetzt werden, um erneut Freitextantworten zu analysieren. Neue Themen, die sich durch die Weiterentwicklung der IT ergeben, werden dann zwar erneut manuelles Nachtrainieren der KI erforderlich machen. Der Aufwand wird allerdings mit jeder Wiederholung geringer.
Neben dem deutlich reduzierten Zeitaufwand für die Auswertung ist das entstandene Codebuch eine Art von Menschen unabhängiger Wissens- und Erfahrungsspeicher. Anstatt nur in den Köpfen der Bearbeiterinnen und Bearbeiter zu bleiben, wird das Wissen automatisch im Codebuch dokumentiert. Weitere Vorteile der Auswertung mithilfe der weitestgehend unvoreingenommenen KI sind die klare Strukturierung, höhere Genauigkeit und Objektivität der Auswertung. Die Aufgabe, daraus sinnvolle Schlüsse zu ziehen und zielführende Maßnahme zu entwickeln und zu kommunizieren liegt dann wieder allein bei den verantwortlichen Personen.
Jährliche Zufriedenheitsbefragung für kontinuierliche Verbesserung
Mit der geplant jährlichen Zufriedenheitsumfrage hat das IT-Referat ein Instrument zur regelmäßigen Kontrolle und Überprüfung umgesetzter Maßnahmen geschaffen. So haben sich bei der Umfrage 2022 über 70 Prozent der Antwortenden zufrieden mit den IT-Dienstleistungen von it@M geäußert.
Das ist jedoch lediglich eine Momentaufnahme. Das Bestreben der IT der LHM ist es, die Zufriedenheit kontinuierlich zu erhöhen. Die KI-gestützte Auswertung hat dazu beigetragen, konkrete Verbesserungspotenziale zu identifizieren. Zu deren Umsetzung wurden in Zusammenarbeit mit den Fachabteilungen des IT-Referats diverse Optimierungsmaßnahmen entwickelt. (Noch) ganz ohne KI!
Kommentare (4)
Kommentar absenden
Weitere Beiträge
„Servus, ich bin Muckl“ – Der neue Chatbot der Landeshauptstadt München stellt sich vor
Digitale Barrierefreiheit: Menschen mit Einschränkungen helfen als Fachkundige in eigener Sache
Ein Gebärdensprach-Avatar für gehörlose Menschen
Einblick in die Digitalisierung der Stadt München: Vierter Digitalisierungsbericht veröffentlicht
ChatGPT und die Notwendigkeit digitaler Kompetenzen – Einladung zum Learn@Lunch
Leichte Sprache ist schwer
Kreative Ideen, viel Spaß und kluge Köpfe beim HackaTUM 2022
Schnell und absolut verlässlich: Neuentwickeltes Münchner Adress- und Eigentumsregister
Ein Jahr neues Arbeiten im Multispace – was haben wir gelernt?
Münchens innovative Konzepte und Lösungen beim Smart City Expo World Congress
Leichte Sprache großgeschrieben – Regeln für sehr hohe Verständlichkeit
Ich gehe davon aus, dass sehr viele Befragte, die sich die Mühe gemacht haben mit formulierten Freitexten auf bestimmte Fragen zu antworten, jetzt schwer enttäuscht wären, dass Ihre Meinung nicht gelesen sondern von einer KI “gesiebt” wird. Zumindest sollte man künftige Befragte darüber aufklären, dann kann man sich von vorne herein auf Stichpunkte begrenzen (was die KI ja später ohnehin macht). Von einem “Mehrwert” zu sprechen, wäre hier falsch, denn die Information des ursprünglichen Freitextes wird ja reduziert. – Richtig ist: wenn man nicht die zeitlichen Ressourcen hat, sich mit den Freitexten auseinanderzusetzen, dann spart die KI Zeit. Dann sollte man sie aber auch nicht auf der Seite der Befragten verschwenden.
Lieber Herr Scheuchenpflug,
vielen Dank für Ihren Kommentar und die kritische Nachfrage, das hilft etwas mehr Klarheit zu schaffen, falls auch weitere Anwender*innen Ihre Sorge teilen, dass ihre Freitextantworten durch eine KI-unterstützte Auswertung nur eingeschränkt Beachtung finden. Ich kann Ihnen versichern, das ist keineswegs der Fall!
Es ist richtig, der größte Mehrwert, den wir durch Einsatz von KI hatten, lag darin, dass uns die tolle Vorsortierung der Antworten durch die KI den zeitlichen Spielraum gab, uns intensiver mit der Analyse und der Entwicklung zahlreicher Maßnahmen zur gewünschten Optimierung von IT zu beschäftigen. Diese Maßnahmen haben wir mittlerweile bereits entweder umgesetzt oder sind gerade dabei. Die stadtweite Kommunikation an unsere Anwender*innen ist erfolgt, das Feedback ist durchwegs positiv!
Die Annahme, einer KI wäre es egal, wie man schreibt, ist dagegen nur bedingt richtig. Mit manchen Tipp- und Rechtschreibfehlern beispielsweise kommt sie zurecht, mit anderen jedoch nur, weil sie den sonstigen Kontext eines Satzes hat. Deswegen würde ich weiterhin davon absehen, unseren Anwender*innen zu raten, ihre Freitextantworten in Stichpunkten zu schreiben. Es gab nämlich auch eine Kategorie mit Freitextantworten, die nicht zugeordnet werden konnten. Solche, zugegebenermaßen sehr wenige Freitextantworten, haben wir manuell geprüft und konnten sie zum größten Teil auch als „menschliche Intelligenz“ nicht richtig einsortieren.
Wir können uns gerne auch persönlich zu diesem Thema austauschen.
@Lucia Hastreiter
Mir ist auch klar, dass der Begriff KI überstrapaziert ist. Sogar die Displayhelligkeit meines Handys soll angeblich mit KI gesteuert werden. Hier steckt aber sicherlich deutlich mehr dahinter.
KI ist nun mal ein Fachbegriff für meist maschinelles Lernen.
Die Intelligenz besteht in diesem Fall darin, dass das Programm unbekannten Text analysieren und die Zusammenhänge erkennt. War der Kommentar positiv oder negativ? Über welche Themen wurden gesprochen? usw.
Im Gegensatz zum klassischen Programm wird ein KI Programm dabei zuerst mit Daten trainiert und Parameter im Programm passen sich dabei selbstständig an, um möglichst viele Daten richtig zu deuten. Dabei ist dem Programmierer zuerst vollkommen unklar, was am Ende dabei rauskommt.
Ein prominentes Beispiel ist die Erkennung von “Hund oder Katze”. Auch wenn man der KI ein neues unbekanntes Bild zeigt, wird das Programm erkennen was ein Hund oder eine Katze ist. Selbst Menschen tun sich hier manchmal schwer bei der Vielzahl an Tieren das eindeutig zu bestimmen.
Textanalyse ist hier nicht einfacher. Ironie ist sehr schwer zu erkennen. Da kommt man mit klassischen fest programmierten Programmen nur schwer weiter.
Es ist schon ungeheuerlich von Intelligenz zu sprechen. “KI” ist ein von Menschen erstelltes Programm und hat mit eigenständiger Intelligenz nichts zu tun!!