Quellenangabe durch KI

Quellenangabe durch KI bedeutet, dass ein System zu seiner Antwort angibt, worauf sie beruht: Dateiname, Seitenzahl, Positionsnummer, Abschnitt oder Internetadresse. Möglich ist das zuverlässig nur dort, wo die Antwort tatsächlich aus übergebenen Dokumenten erzeugt wird, also bei einer retrieval-gestützten Antwort oder bei Werkzeugen mit Websuche. Ein Modell, das allein aus seinem Trainingswissen antwortet, kann keine belastbare Fundstelle nennen.

Im Handwerks- und Baubetrieb ist die Fundstelle oft wichtiger als die Antwort selbst. Wenn ein Werkzeug ausgibt, dass die Ausführungsfrist am Bauvorhaben eine bestimmte Regelung vorsieht, hilft das nur, wenn dazu steht, in welchem Vertragsdokument und in welchem Abschnitt das steht. Dasselbe gilt für Positionen aus einem Leistungsverzeichnis, für Angaben aus einem Baubesprechungsprotokoll oder für Auflagen aus einer Baugenehmigung. Ohne Fundstelle muss ohnehin jemand das Dokument öffnen, und die Zeitersparnis ist dahin.

Praktisch relevant ist außerdem der Umgang mit mehreren Fassungen desselben Dokuments. Liegen im Bestand eine alte und eine geänderte Fassung eines Leistungsverzeichnisses, kann das System korrekt auf eine Textstelle verweisen, die inzwischen überholt ist. Die Fundstelle stimmt dann, die Aussage nicht. Deshalb gehört zur Quellenangabe auch der Stand des Dokuments, nicht nur der Dateiname.

Wo KI ansetzt

Zu unterscheiden ist zwischen einer echten und einer erfundenen Quellenangabe. Wird die Antwort aus konkret übergebenen Textstellen erzeugt, verweist das System auf genau diese Stellen, und der Verweis lässt sich anklicken oder nachschlagen. Fragt man dagegen ein Modell ohne Dokumentzugriff nach Belegen, entstehen häufig plausibel aussehende, aber nicht existierende Verweise: Aktenzeichen, Normnummern oder Seitenangaben, die es so nicht gibt. Das ist ein besonders tückischer Fall der Halluzination, weil die Quellenangabe Sicherheit suggeriert.

Daraus folgt eine einfache Arbeitsregel: Jede Fundstelle wird stichprobenartig geöffnet. Führt der Verweis ins Leere oder steht an der genannten Stelle etwas anderes, ist die gesamte Antwort verdächtig. Bei rechtlich oder kalkulatorisch relevanten Aussagen genügt keine Stichprobe, dort wird jede Angabe am Original geprüft, siehe Faktenprüfung.

Für den Betrieb bedeutet das eine Anforderung an die Ablage: Nur die jeweils gültige Fassung sollte im durchsuchbaren Bestand liegen, überholte Stände gehören in ein gekennzeichnetes Archiv. Diese Ordnung wirkt stärker auf die Verlässlichkeit der Antworten als jede Verbesserung des eingesetzten Werkzeugs.

Bei der Auswahl von Werkzeugen lohnt es, gezielt danach zu fragen: Werden Fundstellen ausgegeben, verweisen sie auf die eigenen Dokumente, und lässt sich die zitierte Textstelle im Original anzeigen? Systeme, die das können, sind für die Arbeit mit Bauakten deutlich wertvoller als solche, die nur flüssige Antworten liefern. Legen Sie im Betrieb fest, für welche Vorgänge eine belegte Antwort verlangt wird, siehe Quellenpflicht im Betrieb. Achten Sie darauf, dass die Fundstelle im Vorgang erhalten bleibt und nicht nur im Chatverlauf steht. Ein Verweis, den nach drei Monaten niemand mehr aufrufen kann, hilft im Streitfall über einen Nachtrag nicht weiter.