Kontextfenster

Das Kontextfenster bezeichnet die Textmenge, die ein Sprachmodell bei einer Anfrage gleichzeitig berücksichtigen kann. Gemessen wird sie in Token, also in Wortbestandteilen. In das Fenster passen die Systemanweisung, der bisherige Gesprächsverlauf, alle angehängten Dokumente und die erzeugte Antwort. Ist die Grenze erreicht, fällt der Anfang des Verlaufs heraus oder das Dokument wird abgeschnitten.

Für Handwerks- und Baubetriebe ist das keine theoretische Größe. Ein Leistungsverzeichnis mit mehreren hundert Positionen, ein Bauvertrag samt Anlagen oder eine Sammlung von Baubesprechungsprotokollen über ein Jahr überschreiten das Fenster kleinerer Modelle deutlich. Wer eine vollständige Ausschreibung anhängt und nach den Positionen für das eigene Gewerk fragt, bekommt womöglich eine Antwort, die nur den ersten Teil des Dokuments kennt, ohne dass das erkennbar wäre. Genauso vergisst ein langes Chatgespräch irgendwann die zu Beginn genannten Rahmenbedingungen, etwa die vereinbarte Preisbasis.

Ein Beispiel aus dem Tiefbau: Wird ein Leistungsverzeichnis mit sämtlichen Vorbemerkungen übergeben und anschließend nach den Positionen für Kanalarbeiten gefragt, kann die Antwort vollständig aussehen und dennoch ganze Titel auslassen. Da das Modell keine Fehlermeldung ausgibt, fällt die Lücke erst bei der Kalkulation auf, mitunter auch erst bei der Abrechnung.

Wo KI ansetzt

Der übliche Umgang damit ist, nicht alles gleichzeitig hineinzugeben. Bei großen Dokumenten wird abschnittsweise gearbeitet: erst je Los oder je Titel auswerten, dann die Teilergebnisse zusammenführen. Bei Beständen aus vielen Dokumenten übernimmt eine retrieval-gestützte Antwort die Vorauswahl. Über eine Vektorsuche werden nur die passenden Textstellen in das Fenster geladen, statt den gesamten Aktenbestand zu übergeben. Das ist sowohl genauer als auch günstiger, weil bei verbrauchsabhängiger Abrechnung jedes übergebene Token zählt.

Zwei Punkte werden häufig verwechselt. Ein großes Kontextfenster bedeutet nicht, dass sich das Modell dauerhaft etwas merkt: Mit dem nächsten Gespräch ist der Inhalt weg, sofern er nicht bewusst gespeichert wird. Und ein großes Fenster garantiert keine gleichmäßige Aufmerksamkeit. Angaben in der Mitte sehr langer Texte werden erfahrungsgemäß schlechter berücksichtigt als solche am Anfang oder Ende.

Praktisch heißt das: Wichtige Vorgaben ans Ende der Anweisung stellen, lange Vorgänge in neue Gespräche aufteilen und den Stand kurz zusammenfassen, statt den alten Verlauf mitzuschleppen. Wenn eine Antwort plötzlich Rahmenbedingungen ignoriert, die weit oben im Gespräch standen, ist meist das Kontextfenster die Ursache und nicht mangelndes Verständnis. Bei umfangreichen Unterlagen lohnt zudem eine kurze Gegenprobe: Fragen Sie gezielt nach einer Angabe, die weit hinten im Dokument steht. Kommt keine oder eine falsche Antwort, wurde das Dokument nicht vollständig ausgewertet. Für die Auswahl eines Werkzeugs ist die Größe des Fensters daher nur eine von mehreren Kennzahlen und selten die entscheidende.