Um die Sicherheit und Fairness von KI-Anwendungen zu garantieren, erarbeitet die EU derzeit den sogenannten EU AI Act, welcher Anwendungen von Künstlicher Intelligenz in verschiedene Risikokategorien einteilen und bestimmte Prüfungen vorschreiben wird. In Deutschland hat das Bundesamt für Sicherheit in der Informationstechnik (BSI) mit dem AIC4 Kriterienkatalog frühzeitig ein Rahmenwerk für Prüfkriterien von KI-Anwendungen aufgestellt.

Ein wichtiger Bestandteil solcher Prüfungen ist die Frage, ob und in welchem Maße ein trainiertes KI-Modell statistischen Verzerrungen – einem sogenannten Bias – unterliegt. Ein Bias entsteht beispielsweise durch unzureichend ausgeglichene Trainingsdaten oder durch eine Überrepräsentation bestimmter Merkmalskombinationen, die dann vom KI-Modell gelernt und verallgemeinert werden. So kann es im ungünstigsten Fall passieren, dass bei der Anwendung des KI-Modells bestimmte Gruppen von Menschen oder auch Individuen benachteiligt oder bevorzugt werden. Insbesondere bei KI-Anwendungen, die mit Bildern oder Videos von Menschen arbeiten, hätte ein Bias folgenschwere Konsequenzen.

Das Problem sitzt durchaus tief: Bildverarbeitende KI-Modelle mit Architekturen wie CNNs (Convolutional Neural Networks) sind dazu konzipiert, Muster zu erkennen. Auch wenn Merkmale wie Alter, Geschlecht oder ethnische Zugehörigkeit nicht explizit in den Trainingsdaten gekennzeichnet sind, kann ein KI-Modell eine indirekte Repräsentation solcher oder ähnlicher Merkmale auf der Grundlage der vorhandenen Bildinformationen konstruieren. Ein solcher sogenannter indirekter Bias ist nur schwer zu erkennen und noch schwerer zu beheben. Eine Analyse benötigt ein sehr großes, differenziertes Datenset. Um alle Merkmalskombinationen auf herkömmliche Weise auf einen Bias zu testen, müssten tausende neue Bilder angefertigt werden, was in Bezug auf die benötigte Zeit und die Kosten schlichtweg nicht möglich ist.

secunet hat sich intensiv mit dem Thema Bias in Bildern und KI-Modellen mit menschlichem Bezug beschäftigt und eine Lösung entwickelt, die nicht nur Verzerrungen in den Daten erkennt, sondern erstmalig auch das KI-Modell auf eben jene Verzerrungen testen kann. Mit dieser Lösung ist es möglich, ein Modell so weiterzuentwickeln, dass ein Bias eliminiert wird. Dazu werden die Trainingsdaten so angepasst, dass alle Merkmale fair verteilt und vorhanden sind und als Konsequenz ein möglicher Bias im Modell mitigiert wird. Das sorgt übrigens nicht nur für faire und diskriminierungsfreie KI-Modelle, sondern erhöht darüber hinaus die Sicherheit und Robustheit der Modelle. Mit zusätzlichen Funktionen wie der Anpassung von Umwelt- und Umgebungsfaktoren können die Limitationen des KI-Modells festgestellt und Lösungsansätze entwickelt werden.

Die Analyse und Lösung des Bias-Problems geschieht in drei Schritten:

1. Die Trainings- und Testdaten werden auf einen Bias in Bezug auf Merkmale wie Alter, Geschlecht und Ethnie analysiert. Damit können bereits frühzeitig Probleme erkannt werden, welche sich später im KI-Modell abbilden würden.
2. Die Lösung von secunet führt einen Test des KI-Modells durch. Dabei generiert sie eine Vielzahl von fotorealistischen künstlichen Identitäten, die sich zum Beispiel in Alter, Geschlecht und Ethnie unterscheiden. Die ursprünglichen Identitäten der Testdaten werden mit den künstlichen Identitäten ausgetauscht, mit der Absicht, die Erkennungsleistung des KI-Modells zu prüfen. Dabei werden beliebige Merkmalskombinationen generiert, schließlich ist auch die tatsächliche menschliche Vielfalt sehr groß. Eine Festlegung auf eine bestimmte Anzahl von Ethnien gibt es nicht, da dies zu einem neuen Bias führen würde. Die maßgeschneiderten Identitäten mit fließenden Übergängen in den Merkmalen bilden somit die gesamte menschliche Vielfalt ab.
3. Wird ein Bias erkannt, können neue Identitäten für die Trainingsdaten erzeugt und das Modell neu trainiert werden. Dieser Prozess wird so oft wiederholt, bis kein Bias mehr nachweisbar ist.

Das Verfahren lässt sich einfach und schnell durchführen. Hat ein KI-Modell den Prozess durchlaufen, liegt ein Nachweis dafür vor, dass es fair ist und frei von Diskriminierung. Dies schafft Vertrauen in die KI-Anwendung – aufseiten der Öffentlichkeit, aber auch aufseiten der Betreiber, denn Letztere können nun mit Zuversicht von der Fairness ihres Modells ausgehen.

Darüber hinaus geht es bei der Analyse von KI-Modellen nicht nur um Bias. Weitere wichtige Aspekte, die sich ebenfalls im EU AI Act und auch im BSI AIC4 wiederfinden, sind Robustheit und Sicherheit der Erkennungsleistung. So besteht zum Beispiel die Gefahr, dass eine KI-Anwendung unter bestimmten Witterungsbedingungen oder Lichtverhältnissen relevante Merkmale nicht erkennt, was Sicherheitsrisiken zur Folge hätte. Mit der Forschung und Entwicklung von secunet können verschiedene Umweltfaktoren getestet werden, um so die Grenzen der Erkennungsleistung einer Anwendung aufzuzeigen und mögliche Risiken zu identifizieren.

In der Öffentlichkeit wird viel über die Risiken von KI diskutiert, auch im Zusammenhang mit deren Einsatz für die innere Sicherheit. Eine gründliche und unvoreingenommene Prüfung und Optimierung der relevanten KI-Modelle ist der beste Weg, auf diese Diskussion zu reagieren und die Akzeptanz von KI-Anwendungen zu steigern.