Test LLMs : Quels sites ChatGPT privilégie-t-il vraiment dans ses réponses ?

Le terme « GEO » est devenu incontournable dans les conversations SEO. Intrigué par cette tendance, j’ai souhaité approfondir la manière dont les résultats des LLMs (Large Language Models), comme GPT, pouvaient être influencés afin d’y intégrer mes clients. Cette démarche rappelle les débuts du SEO, où nous explorions, testions et optimisions nos méthodes pour manipuler les algorithmes des moteurs de recherche comme Google.

Objectif de l’étude

Mon objectif était simple : vérifier si les critères de classement traditionnels des moteurs de recherche influencent réellement le choix des sources utilisées par GPT lorsqu’il formule des réponses à partir du web, sans puiser dans ses données internes. Pour cela, j’ai choisi un sujet générique : « acheter un appareil photo ». Je voulais identifier précisément quelles recommandations et sources GPT proposerait sur ce sujet.

Méthodologie du test : automatisation et régularité

J’ai construit un workflow très simple à l’aide de n8n, connecté à l’API de GPT avec l’option de recherche web activée.

Ce workflow fonctionnait ainsi :

• Se lance automatiquement toutes les 3 heures, chaque jour (pour mieux maitriser le budget).
• Scrape les 10 premiers résultats Google pour chacune des questions (URL et position).
• Pose la question à GPT.
• Enregistre la réponse brute de GPT ainsi que toutes les URLs mentionnées dans les réponses (extraction des domaines).

Pendant 5 jours, toutes les 3 heures, j’ai posé exactement 33 fois chacune des 7 questions suivantes :

Premiers résultats : des sources récurrentes mais une difficulté de comptage

À l’issue de ce test, il était évident que certaines sources revenaient systématiquement dans les réponses fournies par GPT.
Cependant, une difficulté est apparue rapidement : une seule réponse pouvait inclure plusieurs liens provenant du même domaine, faussant ainsi les résultats par une surévaluation de certains domaines.
Par exemple, à la question « Quel est le prix d’un bon appareil photo ? », GPT proposait plusieurs liens vers cdiscount.com :

• Appareils photo compacts : entre 50 € et 500 € (cdiscount.com).
• Appareils photo instantanés : entre 50 € et 150 € (cdiscount.com).
• Appareils photo bridge : entre 150 € et 1 000 € (cdiscount.com).
• Appareils photo hybrides : entre 400 € et 1 000 € (cdiscount.com).
• Appareils photo reflex : à partir de 400 € (cdiscount.com).

Cette même réponse contenait aussi des liens d’autres domaines comme fr.wikipedia.org et galaxus.fr.
Sans filtrage, j’aurais comptabilisé : cdiscount.com – 5 fois, fr.wikipedia.org – 2 fois, galaxus.fr – 1 fois

Ci-dessous, un aperçu des sources avec leurs récurrences sans filtrage :

Méthode corrective : filtrer les domaines pour une meilleure représentativité

Pour éviter ce biais, j’ai appliqué un traitement complémentaire en filtrant les domaines pour ne retenir qu’une occurrence par réponse. Ainsi, la liste représentative des sources est devenue :
• cdiscount.com
• fr.wikipedia.org
• galaxus.fr

Ci-dessous, un aperçu des sources après application du filtrage :

Cette correction permet d’obtenir des résultats plus fiables, représentatifs des sources effectivement privilégiées par GPT.

Résultats détaillés par question

Pour chaque question, voici les résultats obtenus après application du filtrage (une seule fois par réponse) :

Ces résultats montrent clairement que certains sites dominent fortement, créant ainsi un « favoritisme » algorithmique marqué.

Analyse globale : des surprises parmi les résultats

Lorsque l’on observe l’ensemble des données après filtrage, un phénomène intéressant apparaît : la présence notable de certains petits sites, peu connus du grand public.

Voici quelques exemples frappants :

1. Photosavi.com

Ce site a été mentionné 32 fois au cours du test.

Pourtant, il ne bénéficie que d’un trafic organique estimé à une vingtaine de visiteurs par mois :

Quand on examine son profil de liens, on remarque que 65 % des backlinks sont en nofollow et qu’aucun lien réellement autoritaire ne pointe vers lui :

Malgré cela, son contenu reste fortement thématisé autour de la photo, avec des mots-clés positionnés cohérents :

2. Lecourtmetrage.fr

Avec 31 citations uniques, ce site surprend également. Il n’a quasiment aucun trafic organique estimé et ne possède qu’un seul backlink, sans aucune autorité notable.

Lui aussi bénéficie toutefois d’une forte cohérence sémantique avec la thématique :

3. Focalcrafters.com

Mentionné 30 fois, ce site ne dispose que de 7 mots-clés positionnés, aucun trafic estimé, et 77 % de ses backlinks sont en nofollow, sans lien fort depuis des sites d’autorité :

Là encore, le site est bien thématisé par rapport à la thématique :

Ce constat démontre que GPT ne favorise pas exclusivement les grands acteurs du web, mais donne aussi une visibilité importante à des sites de niche ou moins connus.

Perspectives et réflexions pour approfondir cette étude

Cette analyse initiale, bien qu’intéressante, doit être approfondie pour confirmer et mieux comprendre ces résultats.

Voici plusieurs pistes de réflexion pour aller plus loin :

• Corrélation résultats Google et GPT : Réaliser une analyse approfondie pour vérifier si la position des résultats sur Google influence directement la sélection des sources par GPT, en référence à l’étude d’Alexis (https://newsletter.alekseo.com/p/searchgpt-bing-google).
• Succès des petits sites : Examiner les stratégies SEO, les techniques de contenu et la structure des petits sites fréquemment cités par GPT afin de comprendre leur succès auprès des LLMs.
• Patterns spécifiques favorables aux LLMs : Analyser en détail les contenus régulièrement choisis par GPT pour identifier des motifs récurrents comme des formats particuliers, des mots-clés spécifiques ou des structures appréciées par les LLMs.

Ces pistes d’investigation supplémentaires pourront offrir des stratégies concrètes et applicables pour optimiser la visibilité auprès des LLMs en SEO.
Affaire à suivre donc !