EverWeb possède un réglage appelé Bloquer les robots IA, activé par défaut. Il demande à une liste d'outils d'IA et d'autres programmes automatisés de ne pas lire votre site Web. Google et Bing ne figurent pas sur cette liste, pas plus que le robot qu'OpenAI utilise pour la recherche de ChatGPT. Vous pouvez désactiver ce réglage, mais cela ne garantit pas que votre site Web apparaîtra dans les réponses de ChatGPT ou de tout autre outil d'IA.
Ce que fait ce réglage
Quand Bloquer les robots IA est coché et que vous publiez, EverWeb ajoute une liste de noms dans un fichier de votre site Web appelé robots.txt. Ce fichier indique à chaque programme de la liste qu'il ne doit pas lire votre site Web.
Ce fichier est une demande. Les programmes bien conçus la respectent, d'autres peuvent l'ignorer. Il existe parce que certains robots parcourent les sites Web pour collecter du contenu d'entraînement et peuvent consommer une grande partie de votre bande passante.
C'est un seul réglage pour toute la liste. Cette case ne permet pas de choisir les robots un par un.
Quels robots figurent sur la liste ?
Il n'y a pas que des outils d'IA.
| Type | Noms sur la liste |
|---|---|
| Entreprises d'IA | GPTBot, ClaudeBot, CCBot, Amazonbot, Bytespider, PhindBot |
| Autres moteurs de recherche | YandexBot, Baiduspider, PetalBot, Sogou web spider, SeekportBot |
| Outils de SEO et de marketing | AhrefsBot, SemrushBot, MJ12bot, DotBot, BLEXBot, DataForSeoBot, Barkrowler, ZoominfoBot |
| Archivage du Web et surveillance | ia_archiver, SiteUptime |
| Scanners et programmes généralistes | CensysInspect, Expanse, l9explore, zgrab, GenomeCrawlerd, Go-http-client, python-requests, Custom-AsyncHttpClient, crawl, nbot, Unknown |
Googlebot et Bingbot ne figurent pas sur la liste, pas plus qu'une règle qui viserait tous les programmes : ce réglage ne demande donc pas à Google ou à Bing de se tenir à l'écart.
La liste ne couvre pas non plus tous les outils d'IA. Aucun nom n'y fait référence à Grok. Les entreprises d'IA peuvent utiliser plusieurs robots, et ces noms changent.
Pour ChatGPT en particulier : OpenAI indique que GPTBot sert à l'entraînement de ses modèles d'IA, et qu'OAI-SearchBot est celui qui détermine si un site Web apparaît dans la recherche de ChatGPT. GPTBot figure sur cette liste et OAI-SearchBot n'y figure pas : ce n'est donc pas ce réglage qui empêche un site Web d'apparaître dans la recherche de ChatGPT.
Si le rapport d'un outil d'IA indique que votre robots.txt liste de nombreux robots, c'est exact. S'il affirme qu'EverWeb empêche Google de voir votre site Web, ce réglage ne fait pas cela. Pour obtenir de l'aide concernant Google, consultez Pourquoi les gens ne trouvent-ils pas mon site Web sur Google ?
Le désactiver
La case n'apparaît que lorsque Publier vers est réglé sur EverWeb.
- Ouvrez votre projet dans EverWeb.
- Allez dans Fichier > Modifier les paramètres de publication.
- Faites défiler jusqu'à Options avancées et décochez Bloquer les robots IA.
- Allez dans Fichier > Publier le site entier.
Pour le réactiver, cochez la case et publiez à nouveau votre site entier. Ces robots peuvent consommer beaucoup de bande passante : surveillez donc la vôtre si vous laissez ce réglage désactivé.
Vérifier que cela a fonctionné
Allez à l'adresse yourdomain.com/robots.txt dans une fenêtre de navigation privée, en utilisant votre propre adresse.
Cela a fonctionné si les noms ci-dessus ont disparu. Vous verrez peut-être un fichier court, ou un message de page introuvable. Les deux sont normaux.
Si la liste est toujours là :
- Effacez les fichiers de publication enregistrés par EverWeb. Sur Mac, allez dans EverWeb > Réglages. Sur Windows, allez dans Édition > Options. Allez ensuite dans Sauvegarde > Gérer les fichiers du cache... > Publish Cache (cache de publication), sélectionnez votre site Web et choisissez Placer dans la corbeille.
- Allez de nouveau dans Fichier > Publier le site entier et vérifiez à nouveau.
- Si la liste est toujours là, contactez-nous. La publication ne supprime pas les fichiers déjà en ligne, il faudra donc peut-être retirer l'ancien fichier du serveur. Si vous êtes hébergé chez nous, nous pouvons le faire.
Si vous publiez chez un autre hébergeur
Vous ne verrez pas la case, mais votre robots.txt peut tout de même contenir la liste. Vérifiez-le à l'adresse ci-dessus. Si c'est le cas et que vous souhaitez le faire modifier, contactez-nous.
Mon site Web apparaîtra-t-il alors dans ChatGPT ?
Nous ne pouvons pas vous le promettre. Chaque entreprise d'IA décide de ce que son outil lit, conserve et affiche, et EverWeb n'a aucun réglage permettant de leur soumettre votre site Web. Désactiver ce réglage ne fait que retirer la demande. Si un outil ne parvient toujours pas à lire une page, la raison peut se trouver de son côté.
Ce que vous pouvez maîtriser, c'est la présence d'un texte clair sur vos pages, car c'est ce que tous les outils peuvent lire. L'article Pourquoi les gens ne trouvent-ils pas mon site Web sur Google ? traite de ce sujet.