EverWeb heeft een instelling met de naam Blokkeer AI-bots, en die staat standaard aan. Ze vraagt een lijst met AI-tools en andere automatische programma's om uw website niet te lezen. Google en Bing staan niet op de lijst, en de bot die OpenAI voor zoeken in ChatGPT gebruikt ook niet. U kunt de instelling uitzetten, maar dat is geen garantie dat uw website in de antwoorden van ChatGPT of een andere AI-tool verschijnt.
Wat de instelling doet
Als Blokkeer AI-bots is aangevinkt en u publiceert, zet EverWeb een lijst met namen in een bestand op uw website met de naam robots.txt. Dat bestand vertelt elk programma op de lijst dat het uw website niet mag lezen.
Het bestand is een verzoek. Programma's die zich netjes gedragen volgen het, andere kunnen het negeren. Het is er omdat sommige bots websites doorzoeken om trainingsmateriaal te verzamelen, en daarbij veel van uw bandbreedte kunnen gebruiken.
Het is één instelling voor de hele lijst. Met dit vakje kunt u geen afzonderlijke bots kiezen.
Welke bots staan op de lijst?
Het zijn niet alleen AI-tools.
| Soort | Namen op de lijst |
|---|---|
| AI-bedrijven | GPTBot, ClaudeBot, CCBot, Amazonbot, Bytespider, PhindBot |
| Andere zoekmachines | YandexBot, Baiduspider, PetalBot, Sogou web spider, SeekportBot |
| SEO- en marketingtools | AhrefsBot, SemrushBot, MJ12bot, DotBot, BLEXBot, DataForSeoBot, Barkrowler, ZoominfoBot |
| Webarchief en monitoring | ia_archiver, SiteUptime |
| Scanners en algemene programma's | CensysInspect, Expanse, l9explore, zgrab, GenomeCrawlerd, Go-http-client, python-requests, Custom-AsyncHttpClient, crawl, nbot, Unknown |
Googlebot en Bingbot staan niet op de lijst, en er staat ook niets op dat voor alle programma's geldt. Deze instelling vraagt Google of Bing dus niet om weg te blijven.
De lijst dekt ook niet elke AI-tool. Er staat niets op dat naar Grok is genoemd. AI-bedrijven kunnen meerdere bots gebruiken, en die namen veranderen.
Specifiek voor ChatGPT: OpenAI zegt dat GPTBot dient voor het trainen van zijn AI-modellen, en dat OAI-SearchBot bepaalt of een website in de zoekresultaten van ChatGPT verschijnt. GPTBot staat op deze lijst en OAI-SearchBot niet, dus deze instelling is niet de reden dat een website niet in ChatGPT-zoekresultaten staat.
Zegt het rapport van een AI-tool dat uw robots.txt veel bots noemt, dan klopt dat. Zegt het dat EverWeb Google tegenhoudt om uw website te zien, dan doet deze instelling dat niet. Voor hulp met Google, zie Waarom kunnen mensen mijn website niet vinden in Google?
De instelling uitzetten
Het vakje verschijnt alleen als Publiceer naar: op EverWeb staat.
- Open uw project in EverWeb.
- Ga naar File > Bewerk publicatie instellingen (menu Archief).
- Scrol omlaag naar Geavanceerde opties en vink Blokkeer AI-bots uit.
- Ga naar File > Publiceer hele site.
Om de instelling weer aan te zetten, vinkt u het vakje aan en publiceert u opnieuw uw hele site. Deze bots kunnen veel bandbreedte gebruiken, dus houd uw bandbreedte in de gaten als u de instelling uit laat staan.
Controleren of het gelukt is
Ga in een privévenster van uw browser naar yourdomain.com/robots.txt, met uw eigen adres.
Het is gelukt als de namen hierboven weg zijn. U ziet misschien een kort bestand, of een melding dat de pagina niet is gevonden. Beide zijn goed.
Staat de lijst er nog?
- Wis de opgeslagen publicatiebestanden van EverWeb. Ga op een Mac naar EverWeb > Instellingen. Ga op Windows naar Wijzig > Opties. Ga dan naar Back-up > Cachebestanden beheren > Publish Cache (publicatiecache), selecteer uw website en kies Verplaats naar prullenbak.
- Ga opnieuw naar File > Publiceer hele site en controleer het nog eens.
- Staat de lijst er nog steeds, neem dan contact met ons op. Publiceren verwijdert geen bestanden die al online staan, dus het oude bestand moet misschien van de server worden verwijderd. Als u bij ons host, kunnen wij dat doen.
Als u naar een andere host publiceert
U ziet het vakje dan niet, maar uw robots.txt kan de lijst toch bevatten. Controleer het via het adres hierboven. Staat de lijst erin en wilt u dat graag veranderd hebben, neem dan contact met ons op.
Verschijnt mijn website dan in ChatGPT?
Dat kunnen we niet beloven. Elk AI-bedrijf bepaalt zelf wat zijn tool leest, bewaart en toont, en EverWeb heeft geen instelling die uw website bij hen aanmeldt. Als u deze instelling uitzet, verdwijnt alleen het verzoek. Kan een tool een pagina dan nog steeds niet lezen, dan kan de oorzaak aan hun kant liggen.
Waar u wel invloed op hebt, is duidelijke tekst op uw pagina's, want die kan elke tool lezen. Waarom kunnen mensen mijn website niet vinden in Google? gaat hierop in.