Définition SEO de Slurp

Slurp était le robot d'exploration qui avait pour mission de crawler chaque site web à la recherche de nouvelles informations pour maintenir et agrandir l'index du moteur de recherche Yahoo!. Ce spider est désormais très peu présent dans le domaine de la recherche en ligne, même s'il est encore utilisé pour les résultats mobiles sur Yahoo!.

Slurp : définition

Slurp ou « Yahoo! Slurp » était le robot d'exploration destiné à nourrir l'index du moteur de recherche américain Yahoo!. Dans le monde du référencement, c'est en quelque sorte l'équivalent de Googlebot pour le moteur de recherche californien ou de Bingbot pour Microsoft Bing. Lancé en 2004, ce robot d'exploration tire son nom de celui du spider du moteur de recherche Inktomi racheté par Yahoo! quelques années plutôt (en 2002). Ce crawler avait pour objectif de recenser les ressources disponibles sur internet afin de proposer une SERP plus ou moins complète.

Les missions de Slurp

À l'instar de Googlebot et de Bingbot, Slurp devait crawler sans relâche et indexer de façon automatique les contenus des pages internet. Le but était de mettre à jour l'index de son moteur de recherche pour fournir des informations actualisées et pertinentes aux requêtes effectuées par les utilisateurs.

Comment fonctionnait Slurp ?

Pour atteindre son objectif, Slurp suivait un mode de fonctionnement commun à la plupart des crawlers des moteurs de recherche. Ce dernier consiste dans un premier temps à lire et collecter les informations présentes sur une page. La suite du processus consiste à suivre les liens hypertextes insérés sur la page pour en découvrir leurs contenus et les crawler à leur tour.

Le principe est assez simple : lorsque Slurp arrive sur une page, il analyse le contenu et rassemble toutes les nouvelles informations qu'il transfère à son moteur de recherche. Ces nouvelles données seront ensuite traitées puis catégorisées au sein du répertoire du Search Engine, afin d'être visibles dans les différentes entités du moteur :

• Yahoo Actualités
• Yahoo Sport
• Yahoo Finance

Auparavant, le passage de ce robot sur un site pouvait être identifié dans les logs via la désignation : Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp).

Pourquoi rendre son site accessible pour Slurp ?

Comme c'est le cas pour les autres moteurs de recherche, il était indispensable pour les webmasters et propriétaires de sites internet de laisser Slurp crawler leurs pages web pour apparaître dans les SERP (search engine result pages) de Yahoo!. Ceci se faisait notamment via l'utilisation du fichier Robots.txt et de la Balise Meta Robots.

Ces deux éléments permettaient aux webmasters d'indiquer à Slurp la façon dont il doit crawler un site dans son ensemble ou une page web spécifique. D'un point de vue SEO, cela permettait d'optimiser le site pour le crawl et de faciliter le travail du bot durant l'indexation. Par exemple, pour spécifier au spider qu'il ne doit pas crawler le dossier situé à l'adresse « private.html » sur un site, le webmaster pouvait utiliser une instruction Disallow dans le robots.txt en utilisant le code suivant :

User-agent: Slurp

Disallow: /privat.html

En ce qui concerne les Balises Meta Robots, on se souvient encore de la fameuse balise meta NOYDIR qui servait à empêcher Slurp de reprendre le nom du site tel qu'il est défini dans l'annuaire Yahoo! au sein de sa page de résultats. Cette balise suivait le format standard et se présentait comme suit :

< meta name="Slurp" content="noydir" >

Cependant, elle est désormais inutile et complètement obsolète, étant donné la fermeture définitive de l'annuaire Yahoo! en 2014.

Slurp : qu'en est-il aujourd'hui ?

À l'heure actuelle où le web connaît une croissance de plus en plus importante, le domaine de la recherche en ligne est majoritairement dominé par le robot de Google et par celui de Bing. Le bot de Yahoo! est presque obsolète. Et pour cause, Yahoo! Search a conclu en 2009 un accord « Alliance Search » avec le moteur de recherche Bing. Depuis, ses résultats de recherche sont basés sur l'index de Microsoft Bing. Autrement dit, Yahoo! Search utilise désormais le robot d'exploration Bingbot pour afficher sa page de résultats.

Toutefois, même si Yahoo! est aujourd'hui principalement basé sur le travail de Bingbot, Slurp continue de parcourir les pages pour crawler et indexer du contenu. Le moteur Yahoo! Search utiliserait encore ce spider pour proposer les résultats de recherche sur mobile. Il n'est donc pas totalement désuet. Certains promoteurs de site continuent de l'utiliser dans leur stratégie webmarketing pour atteindre davantage de prospects, notamment à travers le mobile search. Si votre contenu est disponible en version mobile, vous pouvez donc l'intégrer à la liste des user-agents pouvant analyser et crawler votre site internet.

En résumé, Slurp était le robot d'indexation utilisé par Yahoo! Search pour nourrir et maintenir son index à jour. Ce spider est aujourd'hui presque obsolète puisque la SERP de Yahoo! est désormais basée sur l'index de Bing.