Prompt tracking
Comment concevoir et exécuter des ensembles de prompts qui produisent des données fiables et non biaisées. Vos mesures ne valent que ce que valent les prompts qui les sous-tendent, et à ce sujet, la plupart des équipes se trompent.
La version courte
- Arrêtez de compter les prompts. Suivre trop de prompts crée du bruit de fond. Vous finissez par mesurer vos propres choix de formulation, et non la compréhension réelle qu’a le modèle de votre marque.
- Concentrez-vous sur des résultats cohérents et consistants. Le signal, c’est : quels sujets, entités et attributs l’IA associe de façon fiable à votre marque sur un grand nombre d’exécutions ?
- Utilisez un ensemble de prompts de référence restreint et délibéré. Une poignée de prompts qui représentent fidèlement vos offres. Laissez les résultats vous indiquer ce qu’il faudra examiner par la suite.
- Cartographiez les lacunes. Les données les plus utiles sont celles qui montrent où vos concurrents sont régulièrement regroupés mais où votre marque est absente.
Quatre façons de mal faire le suivi des prompts
La surcharge de volume
Suivre des dizaines de prompts crée du bruit de fond. Chaque formulation produit des réponses légèrement différentes, rendant impossible l’identification de tendances claires. Plus de prompts ne signifie pas de meilleures données. Cela signifie juste des données plus difficiles à lire.
Les biais dans le prompt
La façon dont vous formulez une question conditionne la réponse. Si vous rédigez des prompts qui font référence à votre marque ou décrivent votre catégorie en utilisant votre propre langage marketing, vous mesurez vos propres choix de formulation plutôt que la compréhension réelle qu’a le modèle.
Le manque de répétition
Les réponses des modèles d’IA sont probabilistes. Même avec le même prompt, vous n’obtiendrez pas toujours la même réponse. Exécuter un prompt une seule fois et traiter le résultat comme un fait n’est pas de la donnée. C’est une observation isolée.
Mesurer les entrées plutôt que les sorties
L’objectif n’est pas de suivre quels prompts mentionnent votre marque. L’objectif est de comprendre ce que le modèle associe de façon cohérente à votre marque. Le suivi des prompts détourne votre attention vers des signaux non pertinents.
Comment procéder correctement
Définissez vos prompts de référence avec soin
Sélectionnez un petit ensemble de prompts qui représentent fidèlement les offres principales de votre marque. Cette étape est difficile et ne doit pas être automatisée ni déléguée. Commencez par les questions larges que vos acheteurs posent réellement avant d’affiner leur choix, et non après. Visez cinq à dix prompts pour commencer.
Exemples de prompts
« Quels sont les meilleurs outils d’automatisation des flux de travail ? » / « Comparez les plateformes d’IA pour l’automatisation des flux de travail destinées aux petites entreprises. » / « Quels outils les entreprises utilisent-elles pour [votre cas d’usage principal] ? »
Contrôlez le canal avant d’exécuter
Avant d’exécuter un prompt, décidez quel canal vous testez et verrouillez-le. Pour la mesure des données d’entraînement, désactivez explicitement la navigation. Pour la mesure de la recherche ancrée dans le web, activez-la. Si vous mélangez les deux au sein d’un même ensemble de prompts sans consigner quel canal a été utilisé pour chaque exécution, vous fusionnez deux signaux différents en un seul comptage de fréquence et les données seront difficiles à interpréter.
Consignez le canal pour chaque exécution : nom du modèle, navigation activée ou désactivée, et date. Cela devient indispensable lorsque vous comparez les résultats mois après mois.
Pourquoi c’est important ?
Un prompt exécuté sur les données d’entraînement et le même prompt exécuté avec la récupération en temps réel peuvent produire des mentions de marques, sujets et attributs complètement différents. Les traiter comme équivalents est l’une des sources les plus courantes de données confuses ou contradictoires dans la mesure de la visibilité IA.
Exécutez chaque prompt plusieurs fois par modèle
Exécutez chaque prompt de référence une dizaine de fois par modèle. Consignez ce qui apparaît de façon cohérente, et non ce qui n’est apparu qu’une fois. La fréquence est le signal. La présence sur une seule exécution est du bruit.
N’agrégez pas les résultats entre les modèles avant de les avoir d’abord analysés séparément. Différents modèles ont des paramètres d’ajustement, des prompts système et une couverture des données d’entraînement différents. ChatGPT peut produire une sphère concurrentielle très différente de celle de Gemini pour le même prompt. Traitez chaque modèle comme sa propre source de données, puis recherchez les tendances qui se confirment sur l’ensemble d’entre eux.
Extrayez les entités, sujets et attributs de chaque réponse
De chaque réponse, enregistrez trois types de signaux : les entités mentionnées, les sujets auxquels elles sont associées et les attributs assignés à chaque marque. Utilisez un format cohérent pour que les données soient comparables d’une exécution à l’autre et dans le temps.
Cartographiez l’étendue et identifiez les lacunes
Construisez un tableau des entités et attributs pour l’ensemble des concurrents. Mettez en évidence là où votre marque est absente. Un concurrent apparaissant régulièrement aux côtés d’un attribut que votre marque ne possède pas est une lacune spécifique et traçable,qui requiert une correction spécifique.
Suivez l’évolution dans le temps
Exécutez le même ensemble de prompts de référence mensuellement. Recherchez les évolutions directionnelles : associations qui se renforcent, nouveaux sujets qui émergent, lacunes qui se comblent. La valeur réside dans la tendance, pas dans un instantané isolé.
La feuille de travail d’analyse des lacunes d’entités
Utilisez cette structure pour enregistrer chaque exécution de prompt de façon cohérente. Le format est important car vous comparerez des exécutions sur plusieurs mois, et non simplement une seule série de résultats.
Et pour chaque signal extrait des réponses :
| Type | Signal | Nombre d’occurrences | Notes |
|---|---|---|---|
| Entité | Votre marque | 3 exécutions sur 5 | Reconnue de façon cohérente. Offre principale confirmée. |
| Sujet | Optimisation IA | 5 exécutions sur 5 | Apparaît dans chaque réponse. Forte cohésion thématique. |
| Attribut | Fiable | 3 exécutions sur 5 | Attribut stable. Confirmé sur plusieurs formulations. |
| Concurrent | MarqueX | 4 exécutions sur 5 | Domine l’attribut « rapidité ». Votre marque absente des comparaisons de vitesse. Lacune à combler. |
Waikay gère l’ensemble de vos prompts de référence, exécute chaque prompt en continu sur tous les modèles, et extrait automatiquement les entités, sujets et attributs. Plutôt que de gérer des feuilles de calcul, vous visualisez directement les tendances : quelles associations se renforcent, quelles lacunes se comblent, et où les concurrents prennent de l’avance.
