Der EU AI Act schafft erstmals europaweit verbindliche Anforderungen für den Einsatz von Systemen Künstlicher Intelligenz (KI): Produktsicherheitsrechtlich unannehmbare Anwendungen werden untersagt, zukunftsträchtige, aber hochrisikobehaftete KI‑Systeme werden an verbindliche Standards und Anforderungen gebunden, alle anderen KI-Systeme werden in sehr geringem Umfang reguliert (Dokumentations- und Transparenzpflichten). Das Gesetz trat bereits zum 01. August 2024 in Kraft und wird schrittweise voraussichtlich bis zum 02. August 2027 gestaffelt in Kraft treten.
Im Jahr 2026 rückt die Risikostufe „Hochrisiko-KI-Systeme“ in den Fokus der Aufmerksamkeit: Am 2. August 2026 treten die zentralen Vorgaben des EU AI Act für sogenannte Hochrisiko-KI-Systeme in Kraft. Ab diesem Zeitpunkt dürfen KI-Systeme dieser Risikostufe nur noch entwickelt und betrieben werden, wenn die EU‑AI-Act-Vorgaben erfüllt sind. KI-Anbieter werden verpflichtet, umfassende Dokumentationen vorzulegen und Konformitätsbewertungen durchzuführen.
Ab August 2026 werden die zuständigen Aufsichtsbehörden (in Deutschland voraussichtlich die Bundesnetzagentur in Zusammenarbeit mit Fachbehörden wie BaFin und Landesstellen) die Einhaltung kontrollieren.
Organisationen, die bereits KI nutzen oder dies planen, sollten sich jetzt mit den Anforderungen vertraut machen und ihre Prozesse und Datenstrategien rechtzeitig an die neuen Vorgaben anpassen.
Überblick: Was ist der EU AI Act?
Der EU AI Act ist das weltweit erste umfassende Gesetz zur Regulierung von Künstlicher Intelligenz. Ziel des Gesetzes ist es, KI-Systeme sicher und transparent zu machen, Grundrechte zu schützen und zugleich Innovation zu fördern.
Der EU AI Act schafft klare Spielregeln für alle, d. h. jedes Unternehmen in der EU, das KI nutzt oder nutzen möchte, ist betroffen – unabhängig von Größe oder Branche. Es werden mithin nicht nur die Entwicklung und der Vertrieb reguliert, sondern auch die Realisierung von Risiken im Rahmen der eigenverantwortlichen Verwendung, sprich dem Betrieb von KI-Systemen. Das Gesetz gilt somit auch für kleine und mittlere Betriebe, allerdings mit Erleichterungen wie z. B. vereinfachte Verfahren und Unterstützung durch sogenannte Regulatory Sandboxes zur Durchführung von Tests.
Kern des EU AI Act ist ein risikobasierter Ansatz: Je höher das Risiko, das von einer KI-Anwendung ausgeht, desto strenger die Regeln. So müssen Hochrisiko-KI-Systeme, wie z. B. KI-Systeme, die zur Kreditwürdigkeitsprüfung von natürlichen Personen bestimmungsgemäß eingesetzt werden, während des gesamten KI-Lebenzyklus durch eine menschliche Aufsicht mit effektiven Eingriffsmöglichkeiten überwacht werden. Einfache KI-Systeme, wie z. B. Spam-Filter, werden in der Regel geringeren Anforderungen unterliegen. Verboten sind nur wenige, besonders unannehmbare, gefährliche KI-Praktiken, wie z. B. manipulative Überwachungstechnik.
Hochrisiko-KI im Fokus: Was Unternehmen bis zum 2. August tun müssen
Hochrisiko‑KI‑Systeme dürfen künftig nur dann auf den Markt gebracht oder eingesetzt werden, wenn strenge Anforderungen an Sicherheit, Transparenz, Datenqualität, Dokumentation, Überwachung und Qualitätssicherung erfüllt sind. Die Regeln sollen garantieren, dass KI verantwortungsvoll und vertrauenswürdig genutzt wird.
Um sicherzustellen, dass die eingesetzten KI-Anwendungen den gesetzlichen Vorgaben entsprechen, müssen Unternehmen jetzt aktiv werden. Die folgenden Maßnahmen haben sich bewährt:
Unser Tipp: Betrachten Sie den EU AI Act als Chance
Neben DSGVO, DORA und NIS-2 ist der EU AI Act ein weiterer Baustein im europäischen Rechtsrahmen für Informationssicherheit und Digitalisierung und sorgt für zusätzliche Pflichten. Insbesondere für Unternehmen, die Hochrisiko-KI-Systeme entwickeln oder einsetzen ist die Herausforderung groß, die Systeme im Einklang mit Datenschutz und Informationssicherheit effizient zu nutzen und gleichzeitig Innovationen zu fördern.
Doch der EU AI Act bietet auch echte Chancen:
Kurz: Verantwortungsvolle KI wird zum Wettbewerbsvorteil, wenn man sie aktiv gestaltet.
Der AI Act gilt sowohl für Anbieter, die KI-Systeme entwickeln oder vermarkten, als auch für Betreiber beziehungsweise Anwender, die KI-Systeme einsetzen. Auch Unternehmen, die KI ausschließlich verwenden, sind verpflichtet, regulatorische Anforderungen einzuhalten. Dabei ist zu beachten, dass die Pflichten je nach Rolle (Anbieter, Betreiber, Importeur, Händler) unterschiedlich ausgestaltet sind und Anbieter grundsätzlich umfangreicheren Verpflichtungen unterliegen als Betreiber.
Die Verordnung definiert ein KI-System als ein maschinengestütztes System, das autonom arbeiten kann und anpassungsfähig ist. Es verarbeitet Eingaben und erzeugt auf Grundlage dieser Daten Ausgaben. Zu diesen Ausgaben zählen unter anderem Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die sowohl physische als auch virtuelle Umgebungen beeinflussen können. Die Definition ist technologieneutral und umfasst verschiedene Ansätze des maschinellen Lernens, einschließlich überwachtes, unüberwachtes und bestärkendes Lernen sowie Deep Learning (vgl. Anhang I KI-VO).
Ja, auch als Betreiber von Standardsoftware, welche als KI-Systeme im Sinne der Verordnung eingestuft werden, haben Sie Pflichten. Ein Unternehmen, das diese Software lediglich eigenverantwortlich verwendet (Betreiber), ist für den ordnungsgemäßen Gebrauch verantwortlich und muss sicherstellen, dass die Hinweise des Anbieters beachtet und ggfs. der Betrieb des Systems überwacht wird. Insbesondere bei Hochrisiko-KI-Systemen müssen Betreiber technische und organisatorische Maßnahmen zur Befolgung der Betriebsanleitungen implementieren, eine qualifizierte menschliche Aufsicht gewährleisten und Vorfälle unverzüglich melden.
Grundsätzlich ja. Jede Organisation, die KI einsetzt oder anbietet, muss die Regeln einhalten. Allerdings enthält der AI Act Erleichterungen für KMU, z. B. Zugang zu geschützten Testumgebungen, den sogenannten “Regulatory Sandboxes”. Zudem sind die Bußgelder für KMU verhältnismäßig ausgestaltet, insbesondere sind die Höchststrafen absolut begrenzt. Diese Erleichterungen entbinden KMU jedoch nicht von der grundsätzlichen Pflicht zur Einhaltung der materiellen Anforderungen der KI-VO, insbesondere bei Hochrisiko-KI-Systemen. KMU müssen ebenfalls sicherstellen, dass eingesetzte Beschäftigte in ausreichendem Maß über KI-Kompetenz verfügen.
Im EU AI Act haben Anbieter, Betreiber und Importeure von KI-Software unterschiedliche Rollen und Pflichten:
Ja, auch Betreiber haben Dokumentationspflichten. Entwickler/Anbieter eines Hochrisiko-Systems müssen sehr umfangreiche technische Unterlagen erstellen. Betreiber müssen zumindest dokumentieren, welche KI-Systeme sie einsetzen und wie sie die gesetzlichen Anforderungen erfüllen. Das bedeutet, es muss schriftlich festgehalten werden,
Zudem sollten die Unterlagen des Herstellers (Konformitätserklärung, Handbuch) archiviert werden. Diese Dokumentation hilft dabei, intern den Überblick zu behalten und dient als Nachweis gegenüber Prüfern oder Behörden, dass die Betreiberpflichten ernst genommen werden.
Ja. Mitarbeitende, die mit dem KI-System arbeiten oder Entscheidungen daraus anwenden, sollten technisch und rechtlich genau wissen, wie sie damit umgehen. Der AI Act schreibt für Hochrisiko-KI-Systeme ausdrücklich vor, dass Nutzer über Funktion, Leistungsgrenzen und Umgang mit Fehlern informiert sein müssen.
In der Praxis sollte es also Schulungen oder Anleitungen geben, damit z. B. ein Sachbearbeiter versteht, wie der KI-Algorithmus eine Kreditwürdigkeit einschätzt und wie er Fälle erkennt, in denen er selbst einschreiten sollte.
Darüber hinaus ist es sinnvoll und empfehlenswert, im Unternehmen ein Grundverständnis für KI zu fördern, damit keine falschen Erwartungen oder Ängste entstehen.
Die Registrierung in der EU-Datenbank für Hochrisiko-KI ist hauptsächlich Sache der Anbieter. Betreibende Unternehmen müssen sich nicht selbst in ein Register eintragen.
Wenn ein Unternehmen allerdings selbst ein Hochrisiko-KI-System entwickelt bzw. entwickeln lässt und dieses dann intern nutzt, könnte das Unternehmen Anbieter und Betreiber zugleich sein. Dann muss es auch registriert werden. Dies kann sogar bereits dann der Fall sein, wenn der Betreiber das bestehende KI-Systeme des Anbieters wesentlich verändert und somit zum sog. Quasi-Anbieter wird.
In den meisten Fällen setzen Unternehmen auf zertifizierte Drittprodukte. Wichtig ist der Nachweis des Anbieters (CE-Kennzeichnung/Konformitätsnummer), dass das System korrekt registriert und zertifiziert ist. Dieser Nachweis sollte aufbewahrt werden.
„Menschliche Aufsicht“ heißt, dass ein Mensch die Kontrolle behält und notfalls eingreifen kann. Hochrisiko-KI-Systeme müssen so gestaltet und eingesetzt werden, dass
Der Grad der Überwachung richtet sich nach dem jeweiligen Anwendungsbereich: Bei sicherheitsrelevanten oder lebenswichtigen Entscheidungen erfolgt die Kontrolle besonders engmaschig, während sie in weniger kritischen Bereichen entsprechend angepasst, jedoch stets gewährleistet bleibt.
Das kommt auf die Risikostufe und den Anwendungsbereich an.
Bei KI-Systemen mit begrenztem Risiko, wie beispielsweise Chatbots oder Deepfakes, ist gegenüber den Nutzern klarzustellen, dass ein KI-System verwendet wird. Dies kann etwa durch den Hinweis „Dieses Video wurde durch KI generiert“ oder die Kennzeichnung „Automatisierter Chatbot“ im entsprechenden Chatfenster erfolgen. Ziel ist es, sicherzustellen, dass Nutzer jederzeit darüber informiert sind, ob sie mit einer KI interagieren und deren Ergebnisse nicht irrtümlich als menschlichen Beitrag verstehen.
Bei Hochrisiko-KI-Systemen ist Transparenz insbesondere gegenüber Aufsichtsbehörden von zentraler Bedeutung. Betreiber müssen in der Lage sein, auf Anfrage detaillierte Informationen bereitzustellen, welche KI-Anwendungen eingesetzt werden und in welcher Form dies geschieht. In bestimmten Fällen besteht zudem eine Informationspflicht gegenüber Endnutzern, insbesondere wenn bedeutsame Entscheidungen vollautomatisiert durch KI getroffen werden. Hier greifen zusätzlich die Informationspflichten nach der DSGVO.
Grundsätzlich ist ein hohes Maß an Transparenz zu bevorzugen. Innerhalb des Unternehmens sollte klar kommuniziert werden, in welchen Bereichen KI eingesetzt wird. Eine proaktive und transparente Kommunikation nach außen trägt dazu bei, das Vertrauen der Öffentlichkeit zu stärken.
Es sollten alle relevanten Dokumente vorliegen. Dazu gehören zum Beispiel:
Bei Verstößen drohen empfindliche Bußgelder:
Die Höhe des Bußgeldes hängt von verschiedenen Faktoren ab, unter anderem von der Art des Verstoßes, früheren Verstößen und der Größe des Unternehmens. Für KMU gelten angepasste Bußgelder, wobei die finanziellen Interessen und die Verhältnismäßigkeit berücksichtigt werden.
Außerdem können Aufsichtsbehörden den Einsatz rechtswidriger KI-Systeme verhindern oder Rückrufe anordnen. Neben finanziellen Strafen drohen also auch Imageschäden und rechtliche Risiken, wenn die Vorschriften nicht eingehalten werden.
Als Hochrisiko-KI gelten grundsätzlich KI-Systeme, wenn von ihnen erhebliche Gefahren für die Grundrechte ausgehen. Die KI-VO unterscheidet dabei zwischen zwei Kategorien von Hochrisiko-KI-Systemen gemäß Art. 6 KI-VO:
Kategorie 1: KI-Systeme als Sicherheitsbauteile (Anhang I KI-VO)
Ein Hochrisiko-KI-System liegt vor, wenn ein KI-System als Sicherheitsbauteil für ein Produkt verwendet wird, das unter die in Anhang I zum AI Act aufgelisteten Harmonisierungsrechtsvorschriften der EU fällt oder selbst ein solches Produkt ist. Dazu zählen beispielsweise Maschinen, Spielzeug, Medizinprodukte, Kraftfahrzeuge und Luftfahrt.
Kategorie 2: Hochrisiko-KI-Praktiken (Anhang III KI-VO)
Ebenfalls als Hochrisiko-KI-System wird ein KI-System klassifiziert, das in einen der folgenden Bereiche des Anhang III zum AI Act fällt:
Besonders relevant:
In beiden Fällen hängt die Einstufung als Hochrisiko-KI-System maßgeblich von der Zweckbestimmung ab. Um die Einordnung zu erleichtern, soll die Kommission Leitlinien zur praktischen Umsetzung erlassen, die durch eine umfassende Liste von Anwendungsfällen und Praxisbeispielen ergänzt werden.
Director IT-Spezialisten Vertical Mittelstand
Künstliche Intelligenz revolutioniert die Beratung: Von Smart Farming bis Steuerprognosen eröffnet sie große Potenziale und stellt neue Anforderungen an Technik, Recht und Organisation.
Weiterlesen
Michael Hoeck, Vorstandsvorsitzender des Genoverbands, spricht im Interview mit bank+markt über Herausforderungen und Lösungen für kleine und mittlere Unternehmen
Weiterlesen
Ab 2026 gelten neue Regeln für Betriebsveranstaltungen: Die Pauschalversteuerung mit 25 % ist künftig nur noch möglich, wenn die Veranstaltung allen Beschäftigten offensteht.
Weiterlesen