KI Hackathon: 11 Challenges in vier Tagen

Beim diesjährigen KI-Hackathon konnten die Teilnehmenden ihr Wissen unter Beweis stellen und Herausforderungen im digitalen Verwaltungsbereich angehen. Die Schwerpunkte des KI-Hackathons lagen dieses Jahr bei MUCGPT, GenAI, Business Intelligence & Datenanalyse, sowie klassischem Machine Learning. 

Insgesamt 68 Teilnehmende arbeiteten an vier Tagen an insgesamt dreizehn eingereichten Challenges, von denen elf erfolgreich bearbeitet wurden. Die dabei entstandenen Prototypen sind vielversprechende Ansätze, die zeigen, was alles mit aber auch ohne KI vereinfacht werden kann.

Dr. Fabian Flohr von der Hochschule München, startete mit einem Impulsvortrag, der spannende Einblicke in seine Forschung zum Thema autonomes Fahren mit anschließender Möglichkeit das Forschungsauto zu besichtigen. 

Dann ging es mit dem eigentlichen Hackathon los: 
Alle Challenges mit den vielfältigen Herausforderungen aus den unterschiedlichsten Referaten wurden vorgestellt. Die Entwickler*innen und Expert*innen fanden sich in Teams zusammen, um sich mit den gestellten Herausforderungen zu befassen.

Das Spektrum der Themen reichte von der Entwicklung intelligenter Chatbots bis hin zu innovativen Ansätzen zur Datenverarbeitung und -analyse. 

Eine kurze Zusammenfassung der bearbeiteten Challenges und Ergebnisse:

Informationsextraktion aus Rechnungen

Die Herausforderung bestand darin, Informationen aus PDF-Rechnungen zu extrahieren und in eine Excel-Tabelle zu übertragen. Dabei standen die Teilnehmenden vor der Schwierigkeit, handschriftliche Anmerkungen zu erkennen, die in vielen Rechnungen vorkommen. Dazu wurden zwei Hauptansätze evaluiert: die lokale Verarbeitung mit OCR-Bibliotheken wie Tesseract, Donut und Docling sowie die Nutzung von Cloud-Lösungen mit modernen Sprachmodellen wie gpt-4o-mini oder Microsoft Azures "Document Intelligence". 

Zusammenfassend zeigen die Ergebnisse, dass beide Ansätze vielversprechend sind: Die lokale Umsetzung mit OCR-Bibliotheken ermöglicht eine effiziente Identifizierung gedruckter Texte, die dann manuell in Excel angepasst werden können. Gleichzeitig bieten Cloud-Modelle die Möglichkeit, sowohl gedruckte als auch handschriftliche Informationen zu erfassen. Durch gezielte Markierung von Rechnungen mit handschriftlichen Anmerkungen lässt sich der Überprüfungsprozess optimieren. Die Kombination beider Ansätze könnte die Automatisierung und Effizienz in der Dokumentenverarbeitung erheblich steigern.

Gesichtsanonymisierung

Im Rahmen der Challenge zur Gesichtsanonymisierung, die sich auf die Verbesserung der Anonymisierung von Personen in Drohnenbildern konzentriert, die bei der Inspektion von Infrastruktur in München aufgenommen werden, konnten das bestehende Tool erheblich optimiert werden.

Durch die Evaluierung und Implementierung verschiedener Gesichtserkennungsmodelle, einschließlich eines speziellen YOLO-Gesichtserkennungsmodells, haben wir die Effizienz und Genauigkeit der Gesichtserkennung signifikant gesteigert. Darüber hinaus wurde ein Sliding-Window-Algorithmus integriert, der sich besonders bei der Verarbeitung großer Panoramaaufnahmen als vorteilhaft erwies. Diese Fortschritte ermöglichen eine schnellere und präzisere Anonymisierung in Luftbildern, was nicht nur die Arbeitsabläufe optimiert, sondern auch die Privatsphäre der betroffenen Personen besser schützt.

Schlauer Fuchs

Ab Version 140 ermöglicht Firefox die direkte Einbindung von Chatbots über die Seitenleiste. In der Standardversion stehen verschiedene etablierte Anbieter zur Auswahl. Unser städtisches MUCGPT fehlte jedoch. Während des Hackathons wurde deshalb ein Prototyp entwickelt, um MUCGPT einen Platz in diesem Kreis zu verschaffen. Wir konnten MUCGPT an den Firefox anbinden, über das Seitenfenster bedienen und mit Inhalten von Websites interagieren. So war es beispielsweise möglich, sich Wikipedia-Inhalte von MUCGPT erklären zu lassen oder ein kurzes Quiz zu komplizierten Texten zu erstellen.

Projektassistenz P.A.U.L.

Im Rahmen der Challenge wurde ein MUCGPT-Assistent mit dem Namen P.A.U.L. (Projekt-Assistenz für Unterlagen und Leitplanung) entwickelt. Er soll die Erstellung von Projektmanagementdokumentationen optimieren. Hintergrund dieser Initiative ist der hohe Zeitaufwand für die Zusammenstellung aller notwendigen Informationen, der häufig zu Projektausfällen führen kann – besonders bei knappen Ressourcen. P.A.U.L. nimmt verschiedene Eingaben wie Ziele, Stakeholder, Zeitrahmen, Liefergegenstände, Abhängigkeiten und den Projektauftrag auf. Anhand dieser Daten generiert der Assistent einen detaillierten Projektstrukturplan in Form eines Gantt-Diagramms. P.A.U.L ist demnächst für alle in MUCGPT verfügbar.

Code Agents

Bei der Verprobung von Code Agents bestand die fachliche Aufgabenstellung darin, Fragestellungen zu Datensätzen aus dem Open-Data-Portal München zu beantworten und diese entsprechend zu visualisieren. Die Code Agents sind in der Lage Programmcode zur Lösung der gestellten Aufgabe zu erzeugen und initiieren zum Beispiel auch Tool-Aufrufe per Code, was sie von klassischen Agenten abhebt.

Der Zugriff auf die relevanten Daten wurde mittels eines Agenten-Tools zur Nutzung der CKAN-API realisiert, wodurch eine strukturierte Datenhandhabung gewährleistet ist. Die Ergebnisse der Gruppe zeigen, dass die Code Agents in der Lage sind, qualitativ hochwertige Outputs zu liefern, die oft sehr hilfreich sind. 

OurTutor

Die Challenge hatte zum Ziel Schulungen durch Chat und Quiz zu ermöglichen. Dafür sollte ein KI-Trainer entwickelt werden, der gezielt Fragen zu einer umfassenden Dokumentationsbasis beantworten kann und den Nutzer*innen die Möglichkeit bietet, ihr Wissen durch interaktive Quiz-Möglichkeiten zu vertiefen. Die Versuche wurden am Beispiel der Thematik Siegel und Signaturen durchgeführt.

Es wurden verschiedene Ansätze evaluiert: Zum einen ein MUCGPT-Assistent integriert Dokumente im System Prompt, um kontextgerechte Antworten zu liefern. Als Alternative dazu wurde ein RAG-basierter LangGraph-Chatbot implementiert, der eine Vektordatenbank nutzt, um relevante Dokumente zu speichern und abzurufen. 

Free Günther

Die Challenge bestand darin, den bestehenden KI-Agenten Günther zu einem noch intelligenteren IT-Wissenshelfer weiterzuentwickeln. Im Rahmen des Hackathons erhielt Günther die Fähigkeit, neben internen Wissensquellen auch externe Informationen aus dem Internet selbstständig zu recherchieren. Dabei wählt der Agent automatisch die relevanteste Quelle zur gestellten Frage aus, prüft die Qualität der Antwort und setzt bei Bedarf weitere Recherchestrategien ein. 

Assistent für die Dienstleistungsbeschreibung in MUCGPT

Die Kolleg*innen vom Webmanagement entwickelten einen Assistenten, der unterstützen soll, die Dienstleistungsbeschreibungen auf muenchen.de zu verbessern. Der Assistent hilft dabei Texte verständlich und bürgernah zu schreiben. Am Ende des Hackathons stand ein erster einfacher Assistent, der komplizierte Texte in leicht verständliche umwandeln kann und diese in vorgegebene Strukturen einordnet.

Expert Debriefing

Um das wertvolle Erfahrungswissen der Kolleg*innen zu bewahren, die in den nächsten Jahren in den Ruhestand treten, führt das POR bereits heute Interviews mit den "Offboardees". Im Rahmen des Hackathons bestand die Herausforderung darin, diesen Interviewprozess mithilfe eines Chatbots zu automatisieren und dadurch die Effizienz deutlich zu steigern.

Es wurden verschiedene Technologien erprobt. Ein letzter Schritt konnte aus zeitlichen Gründen im Hackathon nicht mehr umgesetzt werden. Zusammenfassend lässt sich sagen, dass der entwickelte Prototyp noch Optimierungspotenzial besitzt und nicht perfekt ist. Das getestete Konzept funktioniert jedoch grundsätzlich und könnte für verschiedene Anwendungsfälle weiterentwickelt und eingesetzt werden.

DomstructAI

Bei automatisierten Softwaretests im Browser tritt immer wieder das Problem auf, dass sich sogenannte "Lokatoren", die zum Beispiel die Position eines Buttons auf einer Website beschreiben, durch Updates ändern. Hierbei entsteht ein hoher manueller Arbeitsaufwand für die Testingenieur*innen, die dann per Hand die neue Position finden und diese patchen müssen. Dies führt auch zu hoher Verzögerung im Test-Lifecycle. Um Abhilfe zu schaffen wurden verschiedene Lösungswege exploriert: 

• Nutzung von Healenium: Healenium ist ein ML-basierter Service für Selenium-Tests, der automatisch Lokatoren patcht. Nach Tests wurde jedoch herausgefunden, dass die Umsetzung sehr fehleranfällig ist und wahrscheinlich mehr Probleme schaffen als lösen würde.
• Das robotframework-heal heilt Robotframework-Tests per Schnittstelle an GenAI-Modelle wie gpt-4.1-mini. Es erstellt sinnvolle Lokatoren und ist grundsätzlich gut geeignet.
• Ein MUCGPT-Assistent, der einem erste Informationen und mögliche Patches zurückgeben kann, ist schnell bereitstellbar und kann zeitnah als Unterstützung genutzt werden.