Algunos propietarios de sitios web optan por bloquear rastreadores de IA, como ChatGPT y Bard, para evitar que rastreen su sitio y aprendan del contenido de su sitio web o lo utilicen. Puedes bloquear estos agentes de usuario de IA de forma similar a como bloquear los rastreadores de Google: reemplazando el archivo robots.txt predeterminado por un nuevo archivo que especifique disallow reglas para agentes de usuario de IA específicos.
Advertencia
La plataforma Guesty Website no valida archivos personalizados. Por ejemplo, si se carga un archivo dañado, se publicará igualmente.
Para bloquear los rastreadores ChatGPT y Google-Extended:
Cree un nuevo archivo robots.txt. Recomendamos seguir Instrucciones de Google sobre cómo crear un archivo robots.txt.
-
Agregue el siguiente código al nuevo archivo robots.txt. Tenga en cuenta que los rastreadores procesan robots.txt de arriba a abajo, por lo que no recomendamos agregar la directiva comodín al principio.
# Sitemap is also available on /sitemap.xml
Sitemap: http://www.example.com/sitemap.xml
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
-
( Opcional ) Si necesita agregar otros grupos, siga el mismo formato de:
User-agent: ????
Disallow: /
Y agréguelo antes del comodín. User-agent: *
Reemplace el archivo robots.txt predeterminado con el nuevo. Para saber cómo hacerlo, consulte Mapa del sitio personalizado, robots.txt y otros archivos . Es importante tener en cuenta que, para reemplazar el archivo predeterminado, la URL de origen debe coincidir exactamente con el nombre del archivo.