Methoden der Datenerhebung
APIs, Scraping und manuelle Tests. Wie du KI-Antworten in großem Umfang sammelst, ohne Verzerrungen einzubauen, die deine Messdaten unzuverlässig machen.
Die Kurzfassung
- Zwei Hauptmethoden: Scraping und APIs. Jede hat echte Stärken, die der anderen fehlen. Keine ist einfach besser.
- Scraping erfasst, was echte Nutzer sehen. Es erreicht auch Plattformen ohne API-Zugang. Der Preis dafür: Instabilität, eine unklare Rechtslage und Verzerrung durch Personalisierung.
- APIs bieten Kontrolle und Wiederholbarkeit. Gleiche Parameter in jedem Durchlauf, auch über Monate. Der Preis dafür: höhere Kosten und weniger abgedeckte Plattformen.
- Für die meisten Messprogramme ist ein hybrider Ansatz richtig. APIs liefern die kontrollierte Vergleichsbasis. Scraping zeigt, was Nutzer tatsächlich sehen.
- Manuelle Tests sind Pflicht. Automatisierte Abläufe sagen dir, was in den Daten steht. Manuelle Tests sagen dir, was es bedeutet.
Scraping oder APIs
Scraping
Ahmt einen Menschen nach, der eine öffentliche KI-Oberfläche nutzt. Erreicht auch Plattformen, die keinen API-Zugang bieten. Der große Vorteil ist die Nähe zur Wirklichkeit: Scraping zeigt, was Käufer tatsächlich sehen.
- Erfasst die Ausgabe so, wie Nutzer sie sehen, samt Oberfläche der Plattform
- Erreicht Oberflächen ohne API wie Google AI Overviews
- Pro Anfrage deutlich günstiger
- Bei angemeldeten Konten prägt der Kontoverlauf die Antworten
- Instabil: Login-Sperren, CAPTCHAs, Änderungen an der Oberfläche
- Rechtslage hängt vom Land und den Nutzungsbedingungen der Plattform ab
APIs
Direkter, strukturierter Zugriff auf die Ausgaben der Modelle. Gleicher Prompt, gleiche Modellversion, gleiche Parameter, jedes Mal. Die Grundlage jedes Messprogramms, das Entwicklungen über längere Zeit verfolgt.
- Wiederholbare Ergebnisse, auch über Monate
- Keine Verzerrung durch Personalisierung
- Persona Injection: bestimmte Käufertypen simulieren
- Modellversion ausdrücklich festgelegt und gleichbleibend
- Pro Anfrage deutlich teurer
- Nur für Plattformen mit API-Zugang
| Kriterium | Scraping | APIs |
|---|---|---|
| Kosten pro Anfrage | Niedrig, bis zu 10x günstiger | Hoch, pro Aufruf abgerechnet |
| Stabilität der Ausgabe | Schwankend, abhängig von der Oberfläche | Hoch, gleichbleibend über Durchläufe |
| Was Nutzer wirklich sehen | Zeigt, was Käufer tatsächlich sehen | Steril, ohne Kontext der Oberfläche |
| Kontrolle über Personalisierung | Schwierig, der Kontoverlauf verzerrt die Ergebnisse | Volle Kontrolle über Persona Injection |
| Abgedeckte Plattformen | Breit, auch Oberflächen ohne API | Nur Plattformen mit API-Zugang |
| Rechtliches Risiko | Grauzone, je nach Land | Gering, im Rahmen der Nutzungsbedingungen |
Die passende Methode für jede Aufgabe
Verlauf über längere Zeit
Wer Share of Voice oder Topical Presence über die Zeit messen will, braucht gleichbleibende Parameter. APIs sorgen dafür, dass jeder Durchlauf dieselbe Modellversion und denselben Prompt-Aufbau nutzt. Erst dann sind Vergleiche von Monat zu Monat aussagekräftig. Eine einzige Änderung an der Oberfläche kann beim Scraping einen Bruch in den Daten erzeugen, der wie ein echter Trend aussieht.
Tests mit Personas
Um zu verstehen, wie KI auf verschiedene Käufertypen reagiert, musst du den Kontext einer Persona sauber in den System-Prompt einbringen. Ein IT-Einkäufer in einem Konzern und ein Gründer, der allein arbeitet, können auf dieselbe Frage spürbar verschiedene Antworten bekommen. Eine Persona auf Systemebene lässt sich per Scraping nicht verlässlich nachbilden.
Prüfung der Plattformabdeckung
Google AI Overviews bietet keinen öffentlichen API-Zugang. Scraping ist der einzige Weg, zu erfassen, was echte Nutzer dort sehen. Für Bing Copilot gibt es teilweise API-Zugang über Azure OpenAI und die Bing Search API, aber das vollständige Copilot-Erlebnis für Endnutzer mit seiner Live-Suche lässt sich über die API allein nicht vollständig nachbilden. Für jedes Programm, das messen muss, was Käufer auf diesen Oberflächen tatsächlich sehen, bleibt Scraping unverzichtbar.
Breite Tests mit vielen Prompts
Wenn Breite wichtiger ist als Präzision, etwa wenn du ein großes Prompt-Set auf grobe Lücken prüfst, ist Scraping wegen der geringen Kosten die praktische Wahl. Fünfhundert Prompts in großem Umfang über eine API laufen zu lassen, wird schnell teuer. Mit Scraping ist diese Menge machbar.
Vollständige Messprogramme
Jedes Programm, das Share of Voice, Topical Presence, Zitationen und Entitätsclustering in mehreren Modellen verfolgt, braucht beides: APIs für die kontrollierte Vergleichsbasis, auf der die Analyse über längere Zeit aufbaut, und Scraping für die Oberflächen, die deine Käufer tatsächlich nutzen.
Verzerrungen, die deine Daten verfälschen
Messfehler sehen nicht immer nach schlechten Daten aus. Manchmal sehen sie aus wie ein Trend, der in Wahrheit nur davon kommt, wie du die Daten erhoben hast. Das sind die häufigsten Ursachen.
Verfälschung durch Personalisierung
Wenn du für das Scraping ein Konto mit langem Such- oder Chatverlauf nutzt, beeinflusst dieser Verlauf die Antworten. Ein angemeldetes Konto, mit dem jemand zu deiner Marke recherchiert hat, liefert andere Ergebnisse als eine frische Sitzung. Nutze deshalb immer neue Konten ohne bisherigen Verlauf, der für deine Anfragen relevant ist.
Wechsel der Modellversion
Beim Scraping erwischst du die Modellversion, die die Plattform gerade ausliefert. Aktualisiert die Plattform ihr Modell mitten in einem Messzyklus, enthalten deine Daten Antworten von zwei verschiedenen Modellen. Was in deinen Share-of-Voice-Daten wie ein Trend aussieht, kann in Wahrheit ein Versionswechsel sein. Über APIs kannst du eine bestimmte Modellversion festlegen und das vermeiden.
Einfluss der Formulierung
Kleine Änderungen am Wortlaut eines Prompts führen zu messbar anderen Ergebnissen. Vergleichst du Daten, die mit leicht unterschiedlich formulierten Prompts erhoben wurden, vergleichst du nicht dasselbe. Halte dein Set an Kern-Prompts unverändert. Musst du einen Prompt anpassen, behandle die neue Fassung als neue Messreihe und misch ihre Daten nicht mit denen der alten.
Vermischte Kanäle
Wie in Kapitel 7 beschrieben, liefern Prompts mit ein- und mit ausgeschalteter Websuche Daten aus zwei verschiedenen Kanälen. Mischst du beides im selben Datensatz, ohne es zu kennzeichnen, sind deine Häufigkeiten bedeutungslos. Halte bei jedem Durchlauf den Kanal fest. Die ausführliche Erklärung steht in Kapitel 7.
Zu wenige Durchläufe
KI-Antworten folgen Wahrscheinlichkeiten. Eine Marke, die in einem von zwei Durchläufen auftaucht, hat eine Präsenzrate von 50%, aber statistisch sagt diese Zahl nichts. Für eine stabile Schätzung der Häufigkeit brauchst du mindestens fünf bis zehn Durchläufe pro Prompt. Je umkämpfter deine Kategorie, desto mehr Durchläufe brauchst du, um aussagekräftige Muster zu erkennen.
Warum manuelle Tests weiter wichtig sind
Automatisierte Abläufe sagen dir, was in den Daten steht. Manuelle Tests sagen dir, was es bedeutet.
Automatisierte Abläufe sind auf Menge und Wiederholbarkeit ausgelegt. Was sie nicht liefern, ist die Einordnung. Eine Antwort, bei der die Extraktion der Entitäten gut abschneidet, kann deine Marke trotzdem auf subtile Weise falsch darstellen, und kein automatischer Klassifikator bemerkt es.
Manuelle Tests laufen neben den automatisierten Abläufen, nicht statt ihrer. Es geht nicht darum, die systematische Messung zu ersetzen, sondern um die menschliche Einordnung, die Daten strategisch nutzbar macht und nicht nur zahlenmäßig korrekt.
Auffälligkeiten stichprobenartig prüfen
Überrascht dich ein Ergebnis in deinen automatisierten Daten, lies die eigentlichen Antworten. Im Rohtext findest du oft, was die automatische Extraktion übersehen hat: eine bestimmte Darstellung, eine Einschränkung oder einen Vergleich mit einem Wettbewerber, der die Bedeutung der Antwort völlig verändert.
Neuen Signalen nachgehen
Neue Themen, unerwartete Eigenschaften oder unbekannte Markennamen in deinen Daten solltest du zuerst von Hand untersuchen, bevor du automatisches Tracking dafür aufbaust. Nicht jedes Signal verdient eine Kennzahl.
Aus der Sicht eines Käufers testen
Stell Prompts so, wie ein echter Käufer es tun würde, nicht so, wie dein Tracking-System es tut. Die Unterschiede in Formulierung, Kontext und Nachfragen decken oft Probleme in der Positionierung auf, die strukturierte Prompts übersehen.
Einmal im Monat gegenlesen
Nimm dir jeden Monat dreißig Minuten, um Rohantworten zu lesen statt zusammengefasster Werte. Der Wert zeigt dir die Richtung. Der Rohtext erzählt dir die Geschichte.
Wie Waikay Daten erhebt
Waikay kombiniert API-Zugriffe und Scraping, um präzise Messungen mit einem realistischen Bild der tatsächlichen Nutzung zu verbinden. API-Aufrufe tragen das Tracking über längere Zeit, auf dem die Daten zu Share of Voice, Topical Presence und Faktentreue beruhen. Scraping deckt die Oberflächen mit Live-Suche ab, die keinen API-Zugang haben, etwa Google AI Overviews und Bing Copilot.
Waikay erfasst KI-Antworten aus ChatGPT, Gemini, Perplexity und Claude. Die Kombination aus API-Zugriffen und Scraping orientiert sich daran, wie deine Käufer diese Tools tatsächlich nutzen, nicht nur daran, welche technischen Zugänge verfügbar sind.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.
