Certains propriétaires de sites choisissent de bloquer l'exploration de leur site par des robots d'exploration IA, tels que ChatGPT et Bard, afin d'empêcher l'apprentissage et l'utilisation du contenu de leur site. Vous pouvez bloquer ces agents utilisateurs IA de la même manière que vous bloquez les robots d'exploration Google : en remplaçant le fichier robots.txt par défaut par un nouveau fichier spécifiant disallow des règles pour des agents utilisateurs d'IA spécifiques.
Avertissement
La plateforme Guesty ne valide pas les fichiers personnalisés. Par exemple, si un fichier corrompu est téléchargé, il sera quand même diffusé.
Pour bloquer les robots d'exploration ChatGPT et Google-Extended :
Créez un nouveau fichier robots.txt. Nous vous recommandons de suivre les instructions suivantes : Instructions de Google sur la façon de créer un fichier robots.txt.
-
Ajoutez le code suivant au nouveau fichier robots.txt. Notez que les robots traitent le fichier robots.txt de haut en bas ; nous déconseillons donc d'ajouter la directive générique en haut.
# Sitemap is also available on /sitemap.xml
Sitemap: http://www.example.com/sitemap.xml
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
-
(Facultatif) Si vous devez ajouter d'autres groupes, suivez le même format :
User-agent: ????
Disallow: /
Et ajoutez-le avant le caractère générique User-agent: *
Remplacez le fichier robots.txt par défaut par le nouveau fichier. Pour savoir comment procéder, consultez la section « Plan de site personnalisé, robots.txt et autres fichiers ». Il est important de noter que pour remplacer le fichier par défaut, l'URL source doit correspondre exactement au nom du fichier.