Auswahlkriterien für KI-Werkzeuge

Auswahlkriterien für KI-Werkzeuge sind die Punkte, anhand derer ein Betrieb prüft, ob eine Anwendung für seine Zwecke taugt. Sie unterscheiden sich von den Kriterien für klassische Software vor allem darin, dass die Ergebnisqualität nicht garantiert ist: Ein Sprachmodell erzeugt Vorschläge, die richtig oder falsch sein können. Deshalb steht am Anfang nicht die Frage nach Funktionen, sondern nach dem konkreten Anwendungsfall und dem Prüfweg für die Ergebnisse.

Fachlich lauten die Kernfragen: Welche Aufgabe soll das Werkzeug übernehmen, wie viel Zeit kostet diese Aufgabe heute, welcher Anteil der erzeugten Ergebnisse ist ohne Korrektur brauchbar, und wer prüft sie. Ein Werkzeug, dessen Ausgaben zu häufig nachgearbeitet werden müssen, spart keine Zeit. Diese Quote lässt sich nur in einer Testphase mit echten Daten ermitteln, nicht aus einer Produktbeschreibung.

Rechtlich stehen Datenschutz und Transparenz im Vordergrund. Zu klären sind der Verarbeitungsort, das Vorliegen eines Auftragsverarbeitungsvertrags, die eingesetzten Unterauftragnehmer, die Speicherdauer und die Frage, ob Eingaben zum Training verwendet werden. Die Punkte im Einzelnen behandelt die Datenschutzprüfung eines Anbieters.

Bezug zur Digitalisierung

Nach dem EU AI Act, der VO (EU) 2024/1689, hängen die Pflichten vom Einsatzzweck ab. Für die meisten Büroanwendungen im Handwerk gelten Transparenzanforderungen, etwa die Erkennbarkeit gegenüber Personen, die mit einem System kommunizieren. Systeme zur Bewertung von Bewerbern oder Beschäftigten fallen nach Anhang III in die Hochrisikoklasse und unterliegen deutlich strengeren Anforderungen. Artikel 4 verpflichtet Betreiber, KI-Kompetenz bei den betrauten Personen zu fördern; die VO (EU) 2026/1744 hat diese Pflicht abgeschwächt, ohne die betriebliche Verantwortung aufzuheben.

Wirtschaftlich zählt der Total Cost of Ownership einschließlich Einführung und Schulung. Bei nutzungsabhängiger Abrechnung nach Dokumenten, Anfragen oder Token sollte geklärt werden, wie sich Kosten überwachen und begrenzen lassen.

Organisatorisch gehören dazu die Einbindung in vorhandene Abläufe, die Frage nach Schnittstellen und die Ausstiegsmöglichkeit über Vertragslaufzeit und Datenexport.

Praktisch reicht eine Liste mit acht bis zehn Prüfpunkten, die für jedes Werkzeug gleich beantwortet wird. Sie führt zu vergleichbaren Entscheidungen und dokumentiert zugleich die betriebliche Sorgfalt.

Wie die Kriterien in der Praxis greifen, zeigt ein Dachdeckerbetrieb, der Angebotstexte für Sanierungen automatisiert erzeugen will. Der Anwendungsfall ist eng: Aus Aufmaßdaten, gewähltem Deckmaterial und Notizen aus dem Ortstermin entsteht ein Begleittext zum Angebot. Geprüft wird der Anteil der Entwürfe, die ohne inhaltliche Korrektur herausgehen können. Liegt er nach zwanzig echten Vorgängen bei einem Bruchteil, kostet das Werkzeug mehr Zeit als das bisherige Vorgehen mit Textbausteinen.

Die typische Fehlerquelle bei der Auswahl ist der Vergleich anhand von Funktionslisten statt anhand eines Vorgangs. Anbieter demonstrieren mit aufbereiteten Beispieldaten; im Betrieb liegen die Daten unvollständig, uneinheitlich benannt und über mehrere Systeme verteilt vor. Ein Werkzeug, das im Demobeispiel überzeugt, kann an dieser Stelle scheitern, ohne dass ein einziges Kriterium der Liste verletzt wäre. Deshalb gehört zu jeder Prüfliste ein realer Testvorgang mit den eigenen Daten, einschließlich eines Falls, in dem Angaben fehlen.