Vertrauenswürdige KI entwickeln

Das Konzept der vertrauenswürdigen KI, das bereits seit 2019 die Entwicklung rechtmäßiger, ethischer und robuster KI-Systeme in Europa befördern sollte, wurde von der EU als Leitprinzip etabliert und erfuhr durch den AI Act der EU eine rechtliche Verankerung. Der Rechtsakt, der seit dem 2. Februar 2025 in Kraft ist, zielt darauf ab, menschenzentrierte und vertrauenswürdige KI zu fördern, indem er einen risikobasierten Regulierungsrahmen schafft. Die Verordnung legt strenge Anforderungen an Transparenz, Rechenschaftspflicht und Nicht-Diskriminierung fest, die direkt mit den Prinzipien vertrauenswürdiger KI korrespondieren. Besonders Unternehmen, die Hoch-Risiko-Anwendungen in den Umlauf bringen, sind nun verpflichtet, robuste Prozesse zur Überwachung, Dokumentation und kontinuierlichen Verbesserung ihrer KI-Systeme zu implementieren. Diese Verschränkung von ethischen Prinzipien, gesetzlichen Vorgaben und Qualitätsmanagement-Praktiken schafft einen umfassenden Rahmen, der die Entwicklung sicherer und zuverlässiger KI-Anwendungen fördert und gleichzeitig das Vertrauen der Nutzer stärkt.

Lösungswege / -ansätze

  1. Ein systematisches Qualitätsmanagement, das idealerweise den gesamten Entwicklungszyklus begleitet, berücksichtigt u.a. datenbezogene und technische Maßnahmen, gesetzliche Vorschriften, bestehende Standards und Normen sowie die Wirtschaftlichkeit des Entwicklungsprozesses. Domänenspezifische oder allgemeine Leitfäden bieten Orientierung.
  2. Entwicklungsteams sollten eine sorgfältige Bewertung der potenziellen Risiken ihrer KI-Systeme durchführen (insbesondere bei Hochrisiko-Anwendungen), hochwertige (Trainings-)Datensätze sicherstellen und Risikominderungsmaßnahmen implementieren sowie eine angemessene menschliche Aufsicht einrichten.
  3. Die klare Kennzeichnung KI-generierter Inhalte und die Bereitstellung von Erklärungen für KI-Entscheidungen erhöht die Transparenz, Wenn möglich sollten selbsterklärende (White-Box-)Modelle verwendet werden, die algorithmische Transparenz aufweisen, oder Modelle, die Erklärungen modellintrinsisch mitliefern. Bei opaken (Black-Box-)Modellen, die Transparenzanforderungen kunden- oder zulassungsseitig erfüllen müssen, sollten geeignete Erklärungen (wie z.B. Saliency Maps, Feature-Importance-Analysen, kontrafaktische Erklärungen) mittels etablierten Erklärungswerkzeugen (wie z.B. LIME, SHAP oder Integrated Gradients) generiert werden, um individuelle Entscheidungen möglichst nachvollziehbar zu machen.

Praxisbeispiele

AIQNET

Entwicklung vertrauenswürdiger KI-Services und Wegweiser zur Zertifizierung in der Gesundheitswirtschaft

Videostatement Martin Tettke (Berlin Cert GmbH)



ForeSight

Entwicklung vertrauenswürdiger KI-Services für die Gebäudewirtschaft

Videostatement Florian Remark (Strategion GmbH)

Weiterführende Informationen