Die Faktentreue
Wie zutreffend beschreibt KI deine Marke? Nicht wie wohlwollend, nicht wie oft, sondern wie zutreffend. Die meisten Teams lassen diese Kennzahl aus. Dabei entstehen gerade dann die größten Schäden, wenn sie unbeachtet bleibt.
Die Kurzfassung
- Stimmung ist die falsche Kennzahl für KI-Antworten. LLMs sind darauf trainiert, ausgewogen zu klingen. Eine Stimmungsanalyse (Sentiment) von KI-Antworten ergibt fast immer „neutral“, ob die Beschreibung stimmt oder völlig falsch ist.
- Halluzinationen sind kein Zufall. KI füllt Lücken mit Erfindungen, die plausibel klingen. Je weniger Inhalte es über dich gibt, desto wahrscheinlicher werden Fehler.
- Drei Arten von Fehlern: erfundene Aussagen, veraltete Informationen und falsche Zuordnungen. Jede hat eine andere Ursache und braucht eine andere Lösung.
- Die Prüfung ist einfach. Prompts laufen lassen, mit den tatsächlichen Fakten vergleichen, jeden Fehler einordnen, die Quote berechnen.
Zwei Kapitel, die du vorher lesen solltest
Faktentreue ist eine Kennzahl der Wahrnehmung, weil falsche Beschreibungen direkt bestimmen, wie Käufer deine Marke über KI erleben. Weißt du, woher diese Fehler kommen und wie du die Daten sammelst, um sie zu finden, bringt dir die Prüfung deutlich mehr.
Kap. 7: Kanäle der KI-Sichtbarkeit
Prüfungen der Faktentreue solltest du mit ausgeschalteter Websuche durchführen, damit du testest, was das Modell aus seinen Trainingsdaten weiß. Kapitel 7 erklärt, warum das wichtig ist und warum Trainingsdaten und Live-Suche unterschiedliche Arten von Fehlern erzeugen.
Kap. 10: Methoden der Datenerhebung
Für eine verlässliche Prüfung musst du Antworten in großem Umfang und aus mehreren Modellen sammeln. Kapitel 10 zeigt, wie das gelingt, ohne Verzerrungen einzubauen, die deine Ergebnisse unbrauchbar machen.
Warum Stimmung die falsche Kennzahl ist
Neutral heißt nicht zutreffend
Große Sprachmodelle sind darauf trainiert, ausgewogene und informative Antworten zu geben. Eine Stimmungsanalyse von KI-Antworten ergibt deshalb fast immer „neutral“, ganz gleich, ob stimmt, was das Modell sagt. Für die Beobachtung einer Marke in KI-Antworten ist die Stimmung damit wertlos.
Tonfall
Ob die Sprache freundlich, kühl oder kritisch ist. In KI-Antworten ist sie fast immer neutral, nicht weil das Modell gut von dir denkt, sondern weil es auf Ausgewogenheit ausgelegt ist.
Wahrheit
Ob die Aussagen des Modells über deine Marke tatsächlich stimmen. Genau das beeinflusst Käufer.
Eine Marke kann durchweg neutrale Stimmungswerte bekommen, während das Modell gleichzeitig behauptet, sie sei von einem Wettbewerber übernommen worden, habe ihr wichtigstes Produkt eingestellt oder bediene eine Kundengruppe, die sie nie angesprochen hat. Die Stimmungsanalyse erkennt nichts davon.
Wie Fehler entstehen
Drei Arten, drei verschiedene Lösungen
KI halluziniert nicht zufällig. Sie füllt Lücken in ihren Trainingsdaten mit Erfindungen, die zu den Mustern anderer Texte passen und deshalb plausibel klingen. Je weniger Inhalte es über dich gibt, desto mehr Lücken muss sie füllen. Welche Art von Fehler vorliegt, entscheidet darüber, was du dagegen tust.
Erfundene Aussagen
Das Modell erzeugt Details, für die es in deinen Inhalten keine Grundlage gibt: Produkte, die du nicht anbietest, Partnerschaften, die du nie bekannt gegeben hast, Zertifizierungen, die du nicht hast. Das passiert vor allem, wenn es in den Trainingsdaten wenig über dich gibt und das Modell ergänzt, was eine Marke wie deine seiner Erwartung nach haben müsste.
Veraltete Informationen
Das Modell gibt korrekt wieder, was zum Zeitpunkt des Trainings stimmte, heute aber nicht mehr. Wechsel in der Geschäftsleitung, Neuausrichtung von Produkten, geänderte Preise. Das Modell kann nicht wissen, dass sich etwas geändert hat, solange neuere Quellen nicht schwerer wiegen als die alten.
Falsche Zuordnungen
Das Modell gibt einen Fakt richtig wieder, ordnet ihn aber der falschen Entität zu. Die Übernahme eines Wettbewerbers wird dir zugeschrieben, deine Funktion einem Wettbewerber. Solche Fehler gehen oft auf einen einzigen Inhalt zurück, in dem zwei Marken in einem missverständlichen Zusammenhang gemeinsam genannt wurden.
Wie eine einzige schlechte Quelle eine Falschaussage in mehreren Modellen erzeugte
InLinks, die Schwestersoftware von Waikay, stellte beim Beobachten der KI-Antworten fest, dass mehrere Modelle immer wieder behaupteten, InLinks sei von SEMrush übernommen worden. Die Aussage war völlig falsch, kam aber mit derselben Selbstsicherheit wie korrekte Informationen.
Der Fehler ließ sich auf das Transkript eines französischsprachigen YouTube-Videos zurückführen. Darin ging es um SEMrush und InLinks, und das Modell hatte den Zusammenhang als Ankündigung einer Übernahme missverstanden. Diese eine Quelle reichte, um in mehreren Modellen dieselbe Falschaussage zu erzeugen.
Ohne laufende Prüfung wäre der Fehler unbemerkt geblieben und hätte monate- oder jahrelang in KI-Antworten an Käufer stehen können. Durch die Prüfung wurde er erkannt, zu seiner Quelle zurückverfolgt und gezielt bearbeitet.
Für einen hartnäckigen Fehler braucht es keine flächendeckend schlechte Berichterstattung. Eine einzige missverstandene Quelle in den Trainingsdaten reicht. Ob es sie gibt, erfährst du nur, wenn du systematisch danach suchst.
So führst du die Prüfung durch
Halte die Fakten fest, die stimmen
Schreib die Fakten auf, gegen die du prüfst: Gründungsdatum, Geschäftsleitung, Funktionen der Produkte, Preismodell, Kundengruppen, Partnerschaften. Das ist dein Prüfbogen. Ohne ihn hast du nichts, womit du die Antworten vergleichen kannst.
Lass Prompts zu Fakten mit ausgeschalteter Websuche laufen
Schalte die Live-Suche aus, um zu testen, was das Modell tatsächlich aus seinen Trainingsdaten gelernt hat. Prompts wie „Beschreibe [Marke] und ihre wichtigsten Produkte“ und „Wer hat [Marke] gegründet und wann?“ zwingen das Modell, direkt auf sein trainiertes Wissen zurückzugreifen. Lass sie mehrmals in mindestens zwei Modellen laufen.
Notiere jeden Fehler und ordne ihn ein
Vergleiche jede Antwort mit deinen Fakten. Notiere jede Abweichung und ordne sie ein: erfunden, veraltet oder falsch zugeordnet. Die Einordnung ist wichtig, weil sie die Lösung bestimmt.
Was du notierst
Die Aussage im genauen Wortlaut. Die richtige Information. Die Art des Fehlers. Welche Modelle ihn erzeugt haben und wie regelmäßig. Jede Vermutung zur Quelle.
Berechne deine Faktentreue-Quote
Eine überprüfbare Aussage ist jede konkrete Angabe, die sich nachprüfen lässt: ein Datum, ein Name, eine Produktfunktion, eine Partnerschaft. Nicht „Marke X ist ein Workflow-Tool“, sondern „Marke X lässt sich mit Salesforce verbinden“. Markiere in jeder Antwort jede überprüfbare Aussage, prüfe sie und teile die Zahl der richtigen Aussagen durch die Gesamtzahl.
Beispiel
Eine Antwort enthält 8 überprüfbare Aussagen. 6 stimmen, 1 ist veraltet, 1 ist erfunden. Faktentreue-Quote: 75%. Erfasse das über 10 Durchläufe, um einen stabilen Ausgangswert zu bekommen.
Prüfe in festen Abständen
Führe die Prüfung mindestens einmal pro Quartal durch. Achte besonders auf die Zeit nach größeren Modell-Updates. Dann können Fehler, die schon korrigiert waren, mit dem neuen Training wieder auftauchen.
FAR = richtige überprüfbare Aussagen / alle überprüfbaren Aussagen in allen Durchläufen
Verfolge diese Zahl über die Zeit und nicht nur als einmalige Prüfung. Die Veränderungen deines Werts, nach oben oder unten, sind das Signal, auf das du achten solltest.
Was du gegen gefundene Fehler tust
Erfundene Aussagen
Veröffentliche klare, maßgebliche Inhalte, die die richtige Version festhalten, auf deiner eigenen Domain und auf angesehenen Plattformen Dritter. Bezieht sich die erfundene Aussage auf eine Funktion, die du nicht hast, veröffentliche Inhalte, die klar zeigen, was du stattdessen tatsächlich anbietest. Das Ziel: dem Modell bessere, stärker sichtbare Quellen zum Lernen geben.
Veraltete Informationen
Aktualisiere zuerst deine eigenen Inhalte: Über-uns-Seiten, Profile der Geschäftsleitung, Produktseiten. Sorg dann dafür, dass diese Änderungen auch auf angesehenen Seiten Dritter ankommen. Das Modell gibt die veraltete Version so lange wieder, bis neuere Quellen in seinen Trainingsdaten schwerer wiegen als die alten.
Falsche Zuordnungen
Verfolge den Fehler wenn möglich bis zu seiner Quelle. Falsche Zuordnungen entstehen oft aus einem bestimmten Inhalt, den das Modell missverstanden hat. Lässt sich diese Quelle korrigieren oder entfernen, kümmere dich darum. Veröffentliche parallel Inhalte, die die richtige Zuordnung auf maßgeblichen Plattformen klar festhalten.
Waikay gleicht die Antworten der Modelle mit festgelegten Fakten ab, ordnet Fehler nach ihrer Art ein und verfolgt deine Faktentreue-Quote über die Zeit. Neue Fehler werden angezeigt, sobald sie auftreten, und nicht erst, wenn du daran denkst, eine manuelle Prüfung zu starten.
