Visibilité dans les IA : vos classements sont peut-être du bruit statistique

Les outils de suivi GEO affichent des scores propres, des courbes nettes et des classements au dixième près. C’est rassurant. C’est aussi souvent trompeur.

Une étude d’IQRush, relayée le 11 juillet par Search Engine Journal, montre qu’une mesure unique de visibilité dans SearchGPT, Gemini ou Perplexity ne permet pas de conclure sérieusement. Les réponses changent d’une exécution à l’autre. Les sources citées aussi. Votre marque peut gagner trois points le matin et les reperdre l’après-midi sans que votre site, votre contenu ou votre autorité n’ait bougé.

Un score GEO isolé n’est pas un KPI. C’est un échantillon.

Le même prompt ne produit pas les mêmes sources

Les moteurs génératifs introduisent de la variabilité dans leurs réponses. Pour une question identique, ils peuvent retenir des formulations, des marques et des URL différentes.

Dans un test consacré au matériel de course, Tom’s Guide représentait environ 9,5 % des citations, contre 6 % pour Runner’s World. L’écart apparent était donc de 3,5 points. Pourtant, les marges d’erreur se chevauchaient. Impossible d’affirmer que le premier dominait réellement le second.

C’est le défaut de nombreux tableaux de bord actuels. Ils transforment une observation ponctuelle en vérité générale. Puis ils ajoutent une décimale pour donner une impression de précision.

Le problème n’est pas l’outil. Le problème est la certitude vendue avec la donnée.

Entre 33 et 94 réponses avant de pouvoir conclure

L’étude a mené 30 tests croisant plateformes et thématiques. Pour qu’un classement devienne exploitable, deux conditions devaient être réunies : l’ordre des sites devait cesser de changer, et l’écart entre les premiers devait dépasser leur marge d’erreur.

Selon le test, il a fallu entre 33 et 94 réponses contenant des citations pour atteindre ce niveau de confiance. Dans 3 cas sur 30, tous sur SearchGPT, aucun classement fiable n’a émergé après 125 questions. Les sites de tête restaient trop proches.

Voilà le chiffre à retenir : il n’existe pas de volume universel. Faire 20 requêtes sur Gemini, puis 20 sur SearchGPT, ne donne pas nécessairement deux mesures comparables. Gemini peut concentrer plusieurs citations sur les mêmes domaines dans une réponse. SearchGPT en affiche parfois moins, mais les répartit autrement.

Le nombre brut de citations ne suffit donc pas. Il faut mesurer la quantité d’information indépendante.

Les classements GEO exacts sont une mauvaise habitude

L’étude estime que, même dans le top 10, la marge d’erreur typique tourne autour de cinq positions. Pour un site sur cinq, elle dépasse dix positions.

Publier « notre marque est 7e sur ChatGPT » sans intervalle, sans répétition et sans protocole revient à commenter une photo floue. La tête du classement peut finir par se distinguer. Le milieu et la longue traîne restent beaucoup plus instables.

Mon avis est simple : un outil qui sait afficher “données insuffisantes” vaut plus qu’un outil qui produit systématiquement un podium.

Cette prudence est encore plus importante après une optimisation. Si votre part de citations passe de 12 % à 15 % après la refonte d’une page, vous n’avez pas démontré un gain. Ces trois points peuvent appartenir à la variation naturelle du moteur.

Comment mesurer proprement la visibilité IA

Un reporting sérieux devrait appliquer quatre règles :

1. Répéter chaque groupe de prompts, avant et après une modification.
2. Afficher une fourchette ou un intervalle de confiance, pas seulement une moyenne.
3. Séparer les moteurs et les thématiques, car leur variabilité n’est pas identique.
4. Refuser de classer quand les écarts sont trop faibles.

Il faut aussi conserver les prompts, la date, le pays, la langue, le modèle interrogé et les réponses brutes. Sans ce protocole, impossible de reproduire la mesure ou d’expliquer une variation.

L’étude reste un préprint. Elle porte sur 30 tests et utilise des questions générées par ChatGPT, pas un échantillon réel de requêtes utilisateurs. Ses seuils ne doivent donc pas devenir une nouvelle recette magique.

Mais son constat tient : la visibilité IA est probabiliste. La présenter comme une position Google classique est une erreur de méthode. Avant d’investir dans un outil GEO, demandez combien de répétitions il effectue, comment il calcule l’incertitude et s’il sait reconnaître qu’il ne sait pas.

Sans réponse claire, vous n’achetez pas une mesure. Vous achetez un joli graphique.