Hochrisiko-KI-System

Die Verordnung (EU) 2024/1689 ordnet KI-Anwendungen nach ihrem Risiko ein. Die Klasse mit den strengsten laufenden Anforderungen ist die der Hochrisiko-Systeme. Dazu zählen KI-Komponenten in Produkten, die ohnehin einer Sicherheitsprüfung unterliegen, sowie Anwendungen in ausdrücklich benannten sensiblen Bereichen, etwa Beschäftigung und Personalauswahl, Zugang zu Bildung, Bonitätsbewertung, bestimmte Bereiche kritischer Infrastruktur sowie biometrische Systeme. Für sie gelten unter anderem Anforderungen an Risikomanagement, Datenqualität, technische Dokumentation, Protokollierung, menschliche Aufsicht und Robustheit.

Für den durchschnittlichen Handwerks- oder Baubetrieb ist diese Klasse die Ausnahme. Werkzeuge für Angebotstexte, Belegerkennung, Terminvereinbarung, Zusammenfassungen von Ausschreibungen oder Fotoauswertung zur Mängeldokumentation fallen üblicherweise nicht darunter. Sie liegen im Bereich mit geringen oder minimalen Anforderungen, teils ergänzt um Transparenzpflichten.

Was das im Betrieb bedeutet

Es gibt allerdings einen Bereich, in dem Betriebe schnell in die Nähe geraten: Personal. Systeme, die Bewerbungen bewerten und vorsortieren, Beförderungen vorschlagen oder Beschäftigte anhand automatisch erhobener Kennzahlen einstufen, sind der klassische Anwendungsfall für die Einordnung als hohes Risiko. Wer über eine solche Software nachdenkt, sollte den Anbieter ausdrücklich nach der Einstufung und den zugehörigen Unterlagen fragen und die Antwort schriftlich haben.

Ein zweiter Bereich ist Sicherheitstechnik. Bei KI-Funktionen, die in sicherheitsrelevante Steuerungen eingreifen, etwa in Anlagen der Gebäudetechnik oder in Zugangs- und Überwachungssysteme, lohnt eine Prüfung, statt auf Erfahrungswerte aus dem Büroeinsatz zu vertrauen.

Die Hauptlast der Pflichten trägt in beiden Fällen der Anbieter. Als Betreiber bleiben Aufgaben wie die Verwendung gemäß Gebrauchsanweisung, die Sicherstellung geeigneter Eingabedaten, die Zuweisung der menschlichen Aufsicht an eine ausreichend qualifizierte Person und die Aufbewahrung von Protokollen, soweit sie im eigenen Zugriff liegen.

Wichtig ist, die Einordnung nicht zu erraten. Sie ergibt sich aus dem Zweck des Systems und den Anhängen der Verordnung, nicht aus dem Eindruck der Bedienoberfläche. Ein Werkzeug, das harmlos aussieht, kann durch seinen Einsatzzweck in eine strengere Klasse fallen, und umgekehrt ist ein technisch aufwendiges System nicht automatisch hochriskant. Die verlässlichste Quelle ist die Auskunft des Herstellers, ergänzt um eine fachliche Prüfung bei Anwendungen im Personalbereich.

Praktisch genügt für die meisten Betriebe eine kurze Einordnung je System in der eigenen Übersicht, mit Begründung in einem Satz. Wo die Einordnung unklar bleibt, insbesondere im Personalbereich, ist eine fachliche Prüfung günstiger als eine spätere Korrektur. Die Systematik erklärt der Ratgeber EU AI Act Risikoklassen.