🗄️
Kapitel 10 Ebene 4: Methodik

Methoden der Datenerhebung

APIs, Scraping und manuelle Tests. Wie du KI-Antworten in großem Umfang sammelst, ohne Verzerrungen einzubauen, die deine Messdaten unzuverlässig machen.

⚡
Kurz gesagt

Die Kurzfassung

Das Wichtigste
  • Zwei Hauptmethoden: Scraping und APIs. Jede hat echte Stärken, die der anderen fehlen. Keine ist einfach besser.
  • Scraping erfasst, was echte Nutzer sehen. Es erreicht auch Plattformen ohne API-Zugang. Der Preis dafür: Instabilität, eine unklare Rechtslage und Verzerrung durch Personalisierung.
  • APIs bieten Kontrolle und Wiederholbarkeit. Gleiche Parameter in jedem Durchlauf, auch über Monate. Der Preis dafür: höhere Kosten und weniger abgedeckte Plattformen.
  • Für die meisten Messprogramme ist ein hybrider Ansatz richtig. APIs liefern die kontrollierte Vergleichsbasis. Scraping zeigt, was Nutzer tatsächlich sehen.
  • Manuelle Tests sind Pflicht. Automatisierte Abläufe sagen dir, was in den Daten steht. Manuelle Tests sagen dir, was es bedeutet.
⚖️
Die Methoden

Scraping oder APIs

Methode 01 🔍

Scraping

Ahmt einen Menschen nach, der eine öffentliche KI-Oberfläche nutzt. Erreicht auch Plattformen, die keinen API-Zugang bieten. Der große Vorteil ist die Nähe zur Wirklichkeit: Scraping zeigt, was Käufer tatsächlich sehen.

  • Erfasst die Ausgabe so, wie Nutzer sie sehen, samt Oberfläche der Plattform
  • Erreicht Oberflächen ohne API wie Google AI Overviews
  • Pro Anfrage deutlich günstiger
  • Bei angemeldeten Konten prägt der Kontoverlauf die Antworten
  • Instabil: Login-Sperren, CAPTCHAs, Änderungen an der Oberfläche
  • Rechtslage hängt vom Land und den Nutzungsbedingungen der Plattform ab
Methode 02 🔌

APIs

Direkter, strukturierter Zugriff auf die Ausgaben der Modelle. Gleicher Prompt, gleiche Modellversion, gleiche Parameter, jedes Mal. Die Grundlage jedes Messprogramms, das Entwicklungen über längere Zeit verfolgt.

  • Wiederholbare Ergebnisse, auch über Monate
  • Keine Verzerrung durch Personalisierung
  • Persona Injection: bestimmte Käufertypen simulieren
  • Modellversion ausdrücklich festgelegt und gleichbleibend
  • Pro Anfrage deutlich teurer
  • Nur für Plattformen mit API-Zugang
Kriterium Scraping APIs
Kosten pro Anfrage Niedrig, bis zu 10x günstiger Hoch, pro Aufruf abgerechnet
Stabilität der Ausgabe Schwankend, abhängig von der Oberfläche Hoch, gleichbleibend über Durchläufe
Was Nutzer wirklich sehen Zeigt, was Käufer tatsächlich sehen Steril, ohne Kontext der Oberfläche
Kontrolle über Personalisierung Schwierig, der Kontoverlauf verzerrt die Ergebnisse Volle Kontrolle über Persona Injection
Abgedeckte Plattformen Breit, auch Oberflächen ohne API Nur Plattformen mit API-Zugang
Rechtliches Risiko Grauzone, je nach Land Gering, im Rahmen der Nutzungsbedingungen
🎯
Wann du was nutzt

Die passende Methode für jede Aufgabe

API

Verlauf über längere Zeit

Wer Share of Voice oder Topical Presence über die Zeit messen will, braucht gleichbleibende Parameter. APIs sorgen dafür, dass jeder Durchlauf dieselbe Modellversion und denselben Prompt-Aufbau nutzt. Erst dann sind Vergleiche von Monat zu Monat aussagekräftig. Eine einzige Änderung an der Oberfläche kann beim Scraping einen Bruch in den Daten erzeugen, der wie ein echter Trend aussieht.

API

Tests mit Personas

Um zu verstehen, wie KI auf verschiedene Käufertypen reagiert, musst du den Kontext einer Persona sauber in den System-Prompt einbringen. Ein IT-Einkäufer in einem Konzern und ein Gründer, der allein arbeitet, können auf dieselbe Frage spürbar verschiedene Antworten bekommen. Eine Persona auf Systemebene lässt sich per Scraping nicht verlässlich nachbilden.

Scraping

Prüfung der Plattformabdeckung

Google AI Overviews bietet keinen öffentlichen API-Zugang. Scraping ist der einzige Weg, zu erfassen, was echte Nutzer dort sehen. Für Bing Copilot gibt es teilweise API-Zugang über Azure OpenAI und die Bing Search API, aber das vollständige Copilot-Erlebnis für Endnutzer mit seiner Live-Suche lässt sich über die API allein nicht vollständig nachbilden. Für jedes Programm, das messen muss, was Käufer auf diesen Oberflächen tatsächlich sehen, bleibt Scraping unverzichtbar.

Scraping

Breite Tests mit vielen Prompts

Wenn Breite wichtiger ist als Präzision, etwa wenn du ein großes Prompt-Set auf grobe Lücken prüfst, ist Scraping wegen der geringen Kosten die praktische Wahl. Fünfhundert Prompts in großem Umfang über eine API laufen zu lassen, wird schnell teuer. Mit Scraping ist diese Menge machbar.

Beides

Vollständige Messprogramme

Jedes Programm, das Share of Voice, Topical Presence, Zitationen und Entitätsclustering in mehreren Modellen verfolgt, braucht beides: APIs für die kontrollierte Vergleichsbasis, auf der die Analyse über längere Zeit aufbaut, und Scraping für die Oberflächen, die deine Käufer tatsächlich nutzen.

⚠️
Vorsicht

Verzerrungen, die deine Daten verfälschen

Messfehler sehen nicht immer nach schlechten Daten aus. Manchmal sehen sie aus wie ein Trend, der in Wahrheit nur davon kommt, wie du die Daten erhoben hast. Das sind die häufigsten Ursachen.

01

Verfälschung durch Personalisierung

Wenn du für das Scraping ein Konto mit langem Such- oder Chatverlauf nutzt, beeinflusst dieser Verlauf die Antworten. Ein angemeldetes Konto, mit dem jemand zu deiner Marke recherchiert hat, liefert andere Ergebnisse als eine frische Sitzung. Nutze deshalb immer neue Konten ohne bisherigen Verlauf, der für deine Anfragen relevant ist.

02

Wechsel der Modellversion

Beim Scraping erwischst du die Modellversion, die die Plattform gerade ausliefert. Aktualisiert die Plattform ihr Modell mitten in einem Messzyklus, enthalten deine Daten Antworten von zwei verschiedenen Modellen. Was in deinen Share-of-Voice-Daten wie ein Trend aussieht, kann in Wahrheit ein Versionswechsel sein. Über APIs kannst du eine bestimmte Modellversion festlegen und das vermeiden.

03

Einfluss der Formulierung

Kleine Änderungen am Wortlaut eines Prompts führen zu messbar anderen Ergebnissen. Vergleichst du Daten, die mit leicht unterschiedlich formulierten Prompts erhoben wurden, vergleichst du nicht dasselbe. Halte dein Set an Kern-Prompts unverändert. Musst du einen Prompt anpassen, behandle die neue Fassung als neue Messreihe und misch ihre Daten nicht mit denen der alten.

04

Vermischte Kanäle

Wie in Kapitel 7 beschrieben, liefern Prompts mit ein- und mit ausgeschalteter Websuche Daten aus zwei verschiedenen Kanälen. Mischst du beides im selben Datensatz, ohne es zu kennzeichnen, sind deine Häufigkeiten bedeutungslos. Halte bei jedem Durchlauf den Kanal fest. Die ausführliche Erklärung steht in Kapitel 7.

05

Zu wenige Durchläufe

KI-Antworten folgen Wahrscheinlichkeiten. Eine Marke, die in einem von zwei Durchläufen auftaucht, hat eine Präsenzrate von 50%, aber statistisch sagt diese Zahl nichts. Für eine stabile Schätzung der Häufigkeit brauchst du mindestens fünf bis zehn Durchläufe pro Prompt. Je umkämpfter deine Kategorie, desto mehr Durchläufe brauchst du, um aussagekräftige Muster zu erkennen.

🧑‍💻
Manuelle Tests

Warum manuelle Tests weiter wichtig sind

Automatisierte Abläufe sagen dir, was in den Daten steht. Manuelle Tests sagen dir, was es bedeutet.

Automatisierte Abläufe sind auf Menge und Wiederholbarkeit ausgelegt. Was sie nicht liefern, ist die Einordnung. Eine Antwort, bei der die Extraktion der Entitäten gut abschneidet, kann deine Marke trotzdem auf subtile Weise falsch darstellen, und kein automatischer Klassifikator bemerkt es.

Manuelle Tests laufen neben den automatisierten Abläufen, nicht statt ihrer. Es geht nicht darum, die systematische Messung zu ersetzen, sondern um die menschliche Einordnung, die Daten strategisch nutzbar macht und nicht nur zahlenmäßig korrekt.

🔎

Auffälligkeiten stichprobenartig prüfen

Überrascht dich ein Ergebnis in deinen automatisierten Daten, lies die eigentlichen Antworten. Im Rohtext findest du oft, was die automatische Extraktion übersehen hat: eine bestimmte Darstellung, eine Einschränkung oder einen Vergleich mit einem Wettbewerber, der die Bedeutung der Antwort völlig verändert.

🧭

Neuen Signalen nachgehen

Neue Themen, unerwartete Eigenschaften oder unbekannte Markennamen in deinen Daten solltest du zuerst von Hand untersuchen, bevor du automatisches Tracking dafür aufbaust. Nicht jedes Signal verdient eine Kennzahl.

🗣️

Aus der Sicht eines Käufers testen

Stell Prompts so, wie ein echter Käufer es tun würde, nicht so, wie dein Tracking-System es tut. Die Unterschiede in Formulierung, Kontext und Nachfragen decken oft Probleme in der Positionierung auf, die strukturierte Prompts übersehen.

📅

Einmal im Monat gegenlesen

Nimm dir jeden Monat dreißig Minuten, um Rohantworten zu lesen statt zusammengefasster Werte. Der Wert zeigt dir die Richtung. Der Rohtext erzählt dir die Geschichte.

✅
So macht es Waikay

Wie Waikay Daten erhebt

Waikay kombiniert API-Zugriffe und Scraping, um präzise Messungen mit einem realistischen Bild der tatsächlichen Nutzung zu verbinden. API-Aufrufe tragen das Tracking über längere Zeit, auf dem die Daten zu Share of Voice, Topical Presence und Faktentreue beruhen. Scraping deckt die Oberflächen mit Live-Suche ab, die keinen API-Zugang haben, etwa Google AI Overviews und Bing Copilot.

Abgedeckte Plattformen

Waikay erfasst KI-Antworten aus ChatGPT, Gemini, Perplexity und Claude. Die Kombination aus API-Zugriffen und Scraping orientiert sich daran, wie deine Käufer diese Tools tatsächlich nutzen, nicht nur daran, welche technischen Zugänge verfügbar sind.

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.