John Mueller de Google répond à une question sur l’utilisation de robots.txt pour bloquer des fichiers spéciaux, y compris .css et .htacess.

Ce sujet a été abordé en détail dans la dernière édition du Demandez aux Google Webmasters série de vidéos sur YouTube.

Voici la question qui a été soumise:

« En ce qui concerne le fichier robots.txt, dois-je ‘interdire: /*.css$’, ‘interdire: /php.ini’, ou même ‘interdire: /.htaccess’? »

En réponse, Mueller dit que Google ne peut pas empêcher les propriétaires de sites de refuser ces fichiers. Bien que ce ne soit certainement pas recommandé.

« Non. Je ne peux pas vous empêcher de refuser ces fichiers. Mais cela semble être une mauvaise idée. Vous mentionnez quelques cas particuliers, alors jetons un coup d’œil. »

Dans certains cas, le blocage de fichiers spéciaux est simplement redondant, bien que dans d’autres cas, cela puisse sérieusement affecter la capacité de Googlebot à explorer un site.

Voici une explication de ce qui se passera lorsque chaque type de fichier spécial est bloqué.

Blocage CSS

L’analyse CSS est absolument essentielle car elle permet à Googlebot de rendre correctement les pages.

Les propriétaires de sites peuvent penser qu’il est nécessaire de bloquer les fichiers CSS afin que les fichiers ne soient pas indexés d’eux-mêmes, mais Mueller dit que cela ne se produit généralement pas.

Google a quand même besoin du fichier, donc même si un fichier CSS finit par être indexé, il ne fera pas autant de mal que le bloquer.

Voici la réponse de Mueller:

«’* .Css’ bloquerait tous les fichiers CSS. Nous devons pouvoir accéder aux fichiers CSS afin de pouvoir rendre correctement vos pages.

Ceci est essentiel pour que nous puissions reconnaître lorsqu’une page est adaptée aux mobiles, par exemple.

Les fichiers CSS ne sont généralement pas indexés d’eux-mêmes, mais nous devons être en mesure de les explorer. »

Bloquer PHP

L’utilisation de robots.txt pour bloquer php.ini n’est pas nécessaire car ce n’est pas un fichier auquel on peut facilement accéder de toute façon.

Ce fichier doit être verrouillé, ce qui empêche même Googlebot d’y accéder. Et c’est parfaitement bien.

Le blocage de PHP est redondant, comme l’explique Mueller:

«Vous avez également mentionné PHP.ini – c’est un fichier de configuration pour PHP. En général, ce fichier doit être verrouillé ou dans un emplacement spécial afin que personne ne puisse y accéder.

Et si personne ne peut y accéder, cela inclut également Googlebot. Donc, encore une fois, pas besoin d’interdire l’exploration de cela. « 

Bloquer htaccess

Comme PHP, .htaccess est un fichier verrouillé. Cela signifie qu’il n’est pas accessible de l’extérieur, même par Googlebot.

Il n’a pas besoin d’être interdit car il ne peut pas être analysé en premier lieu.

«Enfin, vous avez mentionné .htaccess. Il s’agit d’un fichier de contrôle spécial qui n’est pas accessible en externe par défaut. Comme pour les autres fichiers verrouillés, vous n’avez pas besoin de l’interdire explicitement à l’exploration, car il n’est pas du tout accessible. »

Les recommandations de Mueller

Mueller a clôturé la vidéo avec quelques mots courts sur la façon dont les propriétaires de sites devraient procéder pour créer un fichier robots.txt.

Les propriétaires de sites ont tendance à rencontrer des problèmes lorsqu’ils copient le fichier robots.txt d’un autre site et l’utilisent comme le leur.

Mueller déconseille cela. Au lieu de cela, réfléchissez de manière critique aux parties de votre site que vous ne souhaitez pas explorer et ne les refusez que.

«Ma recommandation est de ne pas simplement réutiliser le fichier robots.txt de quelqu’un d’autre et de supposer que cela fonctionnera. Au lieu de cela, pensez aux parties de votre site que vous ne voulez vraiment pas avoir explorées et interdisez simplement l’exploration de celles-ci. « 

Articles Liés: