Alguns proprietários de sites estão optando por bloquear rastreadores de IA, como ChatGPT e Bard, para impedir que aprendam com o conteúdo do site ou o utilizem. Você pode bloquear esses agentes de usuário de IA de maneira semelhante ao bloqueio de rastreadores do Google: substituindo o arquivo robots.txt padrão por um novo arquivo que especifique disallow regras para agentes de usuário de IA específicos.
Aviso
A plataforma Guesty Website não valida arquivos personalizados. Por exemplo, se um arquivo corrompido for carregado, ele ainda será exibido.
Para bloquear os rastreadores ChatGPT e Google-Extended:
-
Crie um novo arquivo robots.txt. Recomendamos seguir as instruções do Google sobre como criar um arquivo robots.txt.
-
Adicione o seguinte código ao novo arquivo robots.txt. Observe que os rastreadores processam o arquivo robots.txt de cima para baixo, portanto, não recomendamos adicionar a diretiva curinga no início.
# Sitemap is also available on /sitemap.xml
Sitemap: http://www.example.com/sitemap.xml
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
-
(Opcional) Se precisar adicionar outros grupos, siga o mesmo formato:
User-agent: ????
Disallow: /
E adicione-o antes do curinga User-agent: *
-
Substitua o arquivo robots.txt padrão pelo novo arquivo. Para saber como, consulte Sitemap personalizado, robots.txt e outros arquivos. É importante observar que, para substituir o arquivo padrão, a URL de origem deve corresponder exatamente ao nome do arquivo.