- Blog
- - innovate.
Die KI-Folgenabschätzung als strategisches Werkzeug, das Vertrauen schafft
Von Kaan Güllü
Neue Technologien, neue Risiken
KI hat längst in unserem privaten als auch im beruflichen Umfeld Einzug gehalten. Von der unkomplizierten Bereitstellung von Wissen, der Generierung oder Bearbeitung von Texten bis hin zu KI-Agenten, die autonom spezifische Aufgaben automatisieren, ist KI heute nicht mehr wegzudenken. Und dabei stehen wir, was die Erschließung von Anwendungsfeldern betrifft, noch ganz am Anfang.
Neue Technologien kommen jedoch nie ohne neuartige Risiken. Aus diesem Grund hat das Europäische Parlament seine KI-Verordnung (AI Act) verabschiedet und weist in einem Artikel zu deren Einführung auf die damit verbundenen Risiken hin – insbesondere für Sicherheit, Demokratie, Unternehmen und Arbeitsplätze.
Die Auseinandersetzung mit diesen Risiken ist ein Balanceakt: Wenn wir uns als Gesellschaft nicht intensiv genug mit Technologien wie KI auseinandersetzen, die das Potenzial haben, uns sicherer oder effizienter zu machen, entgehen uns Chancen. Andererseits kann eine allzu sorglose oder maßlose KI-Nutzung dazu führen, dass Ressourcen verschwendet werden oder KI für ungeeignete Aufgaben zum Einsatz kommt. Ein Gleichgewicht zwischen diesen zwei Polen zu erreichen, ist unsere gemeinschaftliche Verantwortung – sowohl für jeden einzelnen als Bürgerin oder Bürger, als auch für Organisationen.
In Bezug auf die Gefahren für Grundrechte und Demokratie können die Auswirkungen von KI auf unsere Gesellschaft tiefgreifend sein – sowohl im positiven als auch im negativen Sinne. Entscheidungen von KI-Systemen basieren auf Designentscheidungen und Datengrundlagen. Werden dabei strukturelle Verzerrungen oder blinde Flecken nicht erkannt, können KI-Systeme Diskriminierung reproduzieren oder sogar verstärken – etwa bei Jobeinstellungen, Kreditvergaben oder Strafverfolgung.
Risiken frühzeitig erkennen
Ein Fall, der vor allem in den US-amerikanischen Medien intensiv behandelt worden ist, hängt mit der Veröffentlichung der Apple-eigenen Kreditkarte (Apple Card) in Kooperation mit der US-amerikanischen Bank Goldman Sachs zusammen. Verschiedene öffentliche Personen erhielten unterschiedliche Kreditrahmen. Steve Wozniak, Mitbegründer von Apple Inc., erhielt beispielsweise einen anderen Kreditrahmen als seine Frau. In ihrer Untersuchung stellte die zuständige Regulierungsbehörde, das New York State Department of Financial Services (NYSDFS), fest, dass das zugrundeliegende KI-System nicht ausreichend nachvollziehbar war. Dadurch kam es bei der Kreditvergabe zu unbeabsichtigten Benachteiligungen.
In diesem Zusammenhang ist auch der Schutz der Privatsphäre ein relevantes Thema, da KI zunehmend für Gesichtserkennung, Tracking und Profiling eingesetzt wird. Zugleich gefährden personalisierte Fehlinformationen und realistisch wirkende Deepfakes den öffentlichen Diskurs und die demokratische Meinungsbildung. In autoritären Kontexten können solche Technologien die Versammlungsfreiheit untergraben und zivilgesellschaftliches Engagement erschweren.
An dieser Stelle setzt die KI-Folgenabschätzung an. Als zentrales Instrument des AI-Acts und der Norm ISO/IEC 42001:2023 dient sie dazu, Risiken frühzeitig zu erkennen, systematisch zu bewerten und gezielt zu begrenzen. Neben der technischen Robustheit sind insbesondere Verantwortung, Transparenz und menschenzentriertes Design hierbei von entscheidender Bedeutung. Was der EU AI Act für Sie konkret bedeutet, können Sie auf unserer Website nachlesen.
Die KI-Folgenabschätzung erfordert ein strukturiertes Vorgehen
Als spezifische Anforderung aus dem AI-Act und der Norm ISO/IEC 42001:2023 soll die KI-Folgenabschätzung, die auch als Grundrechte-Folgenabschätzung bezeichnet wird, dafür sorgen, dass die Auswirkungen eines KI-Systems auf die Grundrechte, die Gesundheit und die Sicherheit von Personen oder der Gesellschaft artikuliert und bewertet werden. Sie gilt insbesondere für bestimmte Hochrisiko-KI-Systeme.
Das genaue Vorgehen wird noch vom AI Office der Europäischen Kommission ausgearbeitet, es sollte sich in der Umsetzung aber grundsätzlich in folgende Schritte gliedern:
Bei näherer Betrachtung fällt auf, dass die Elemente einer KI-Folgenabschätzung dem Aufbau und Zweck einer Datenschutzfolgenabschätzung gemäß DSGVO ähneln. Wie auch in anderen Bereichen bietet es sich in der praktischen Umsetzung an, auf bestehenden Prozessen aufzubauen.
Den Expertinnen und Experten für Datenschutz unter uns ist bekannt, dass gemäß Art. 35 Abs. 1 DSGVO eine Datenschutzfolgenabschätzung durchgeführt werden muss, bevor personenbezogene Daten (PBDS) verarbeitet werden dürfen. Diese Vorgabe gibt es auch im AI Act. Gemäß Art. 27 muss vor Inbetriebnahme eines KI-Systems eine sogenannte „Grundrechte-Folgenabschätzung“ durchgeführt werden. Dies gilt insbesondere für KI-Systeme mit hohem Risiko.
Bereiche, in denen die KI-Folgenabschätzung Pflicht ist
Aus Anhang III des AI Acts ergeben sich die Anwendungsfälle von KI-Systemen, die unter den Begriff „hohes Risiko“ fallen. Dies betrifft insbesondere Bereiche, in denen Entscheidungen durch KI direkte Auswirkungen auf das Leben, die Sicherheit oder die Rechte von Menschen haben.
- Bei Systeme zur biometrischen Identifikation, etwa zur Fernidentifikation von Personen oder zur Erkennung sensibler Merkmale und Emotionen.
- In der kritischen Infrastruktur, etwa bei der Steuerung der Energieversorgung, digitalen Netzen oder im Straßenverkehr, wird der Einsatz von KI mit hohen Risiken assoziiert.
- Im Bildungssektor fallen KI-Systeme unter diese Kategorie, wenn diese über Zugang, Leistungsbewertung oder Prüfungsverhalten entscheiden.
- Im Beschäftigungskontext betrifft das unter anderem KI-Systeme zur Bewerberauswahl, zur Bewertung von Mitarbeitenden oder zur automatisierten Aufgabenverteilung. Das betrifft außerdem den Zugang zu wesentlichen Dienstleistungen – unter anderem Sozialleistungen, Krediten, Versicherungen oder Notrufsystemen.
- Bei der Strafverfolgung erfordert der Einsatz von KI besondere Sensibilität. Dies betrifft den Einsatz von KI zur Einschätzung von Rückfallrisiken, zur Beweismittelbewertung oder als Lügendetektor.
- Im Migrations- und Grenzmanagement ist ebenfalls Vorsicht geboten, beispielsweise bei der Risikobewertung oder der Unterstützung bei Asylentscheidungen.
- Die Justiz und demokratische Prozesse können auch betroffen sein. KI-Systeme, die bei gerichtlichen Entscheidungen unterstützen oder gezielt das Wahlverhalten beeinflussen, unterliegen ebenfalls den strengen Anforderungen des AI-Acts.
Bei Betrachtung dieser Anwendungsfälle bzw. -bereiche fällt auf, dass im einen oder anderen Bereich sicher schon KI-Systeme eingesetzt werden. Das bedeutet, dass gemäß dem AI-Act in diesen Bereichen mindestens nachträgliche KI-Folgenabschätzungen durchgeführt werden müssen und die Verwendung des KI-Systems in bestimmten Fällen bis zur Durchführung der KI-Folgenabschätzung eingestellt werden muss.
Exkurs
Im Juni 2025 verhängte die Bundesnetzagentur gegen den Anbieter einer Medizin-KI ein Bußgeld in Höhe von rund zwei Millionen Euro wegen fehlender Risikobewertung. Obwohl die Sanktionen des AI Act offiziell erst ab August 2025 gelten, ermöglicht das in Deutschland bereits geltende Marktüberwachungsgesetz der Bundesnetzagentur, frühzeitig Maßnahmen zu ergreifen. Dieses nationale Gesetz ergänzt den AI Act und schafft eine rechtliche Grundlage, um bereits vor Inkrafttreten des europäischen Strafrahmens Verstöße effektiv zu ahnden.
Die KI-Folgenabschätzung schafft Vertrauen
Die KI-Folgenabschätzung ist mehr als nur eine regulatorische Pflicht. Sie ist ein strategisches Werkzeug, um Vertrauen in den Einsatz von KI zu schaffen, Risiken systematisch zu beherrschen und gesellschaftliche sowie unternehmerische Verantwortung wahrzunehmen. Ihr Mehrwert zeigt sich nicht nur in der rechtlichen Absicherung, sondern auch im gezielten Aufbau robuster, fairer und transparenter KI-Systeme, die sowohl den Unternehmenserfolg als auch das Gemeinwohl fördern.
Um diesem Anspruch gerecht zu werden, ist eine proaktive und interdisziplinäre Haltung erforderlich. Die Fachbereiche, die IT, die Rechtsabteilung, der Datenschutz, die Ethik und die Informationssicherheit müssen gemeinsam wirksame Bewertungsverfahren etablieren. Die frühzeitige Identifizierung kritischer Einsatzbereiche, die Vermeidung von Fehlentwicklungen und die sichere Ausschöpfung von Potenzialen sind auf diese Weise möglich.
Die Implementierung der KI-Folgenabschätzung als gelebte Standardpraxis sollte daher das Ziel jeder Organisation sein, die KI verantwortungsvoll nutzen möchte.
Unterstützung durch adesso
adesso unterstützt Organisationen ganzheitlich beim Aufbau eines nachhaltigen KI-Governance-Rahmens. Wir begleiten euch:
- bei der Identifikation relevanter KI-Anwendungsfälle,
- bei der Durchführung und Dokumentation der KI-Folgenabschätzung (an ISO/IEC 42001 und AI-Act orientiert),
- beim Aufbau integrierter AI-Managementsysteme und -prozesse entlang bestehender Datenschutz-, IT-Risiko- und IT-Compliance-Strukturen,
- beim Aufbau eines AI-Managementsystems (AIMS) nach ISO/IEC 4200:2023 sowie
- bei der Schulung interner Stakeholder zur Sicherstellung einer organisationseinheitlichen Umsetzung. (Hier findet ihr Schulungen in Kooperation mit unserem Partner qSkills zum Thema AIMS-Implementer.)
So wird die KI-Folgenabschätzung nicht zum Bremsklotz – sondern zum Enabler für vertrauenswürdige Innovation.
Aufbau von KI-Governance
Wir unterstützen Unternehmen dabei, ein AIMS gezielt und praxisnah aufzubauen – von der ersten Reifegradanalyse bis hin zur vollständigen Integration in bestehende Managementsysteme. Unser interdisziplinäres Team aus Fachleuten für IT-Governance, IT-Risiko- und IT-Compliance-Management sowie KI-Technologie begleiten Unternehmen ganzheitlich auf dem Weg zu einer sicheren, regelkonformen und vertrauenswürdigen KI-Nutzung.
Über den Autor
Kaan Güllü beschäftigt sich intensiv mit IT-Risikomanagement, Informationssicherheit und IT-Compliance, einschließlich der Bereiche Datenschutz und der regulatorischen Anforderungen des AI Acts. Zu seinen Kernaufgaben zählen der Aufbau und Betrieb von Informationssicherheits-, Datenschutz- und AI-Managementsystemen (ISMS, DSMS, AIMS). Er bringt umfangreiche Erfahrung im Umgang mit internationalen Standards wie ISO 27001, ISO 42001, dem BSI IT-Grundschutz, der EU-Datenschutzgrundverordnung (EU-DSGVO) sowie dem Bundesdatenschutzgesetz (BDSG) mit. Diese Kombination ermöglicht ihm eine ganzheitliche Herangehensweise an Sicherheits- und Compliance-Themen in modernen IT-Umgebungen.