EverWeb hat eine Einstellung namens Blockieren Sie KI-Bots, die standardmäßig eingeschaltet ist. Sie bittet eine Liste von KI-Tools und anderen automatisierten Programmen, Ihre Website nicht zu lesen. Google und Bing stehen nicht auf der Liste, und auch nicht der Bot, den OpenAI für die ChatGPT-Suche verwendet. Sie können die Einstellung ausschalten, aber das garantiert nicht, dass Ihre Website in den Antworten von ChatGPT oder einem anderen KI-Tool erscheint.
Was die Einstellung bewirkt
Wenn Blockieren Sie KI-Bots angehakt ist und Sie veröffentlichen, fügt EverWeb einer Datei auf Ihrer Website namens robots.txt eine Liste von Namen hinzu. Sie teilt jedem Programm auf der Liste mit, dass es Ihre Website nicht lesen soll.
Die Datei ist eine Bitte. Seriöse Programme halten sich daran, andere können sie ignorieren. Es gibt sie, weil manche Bots Websites durchsuchen, um Trainingsinhalte zu sammeln, und dabei viel von Ihrem Datenvolumen verbrauchen können.
Es ist eine einzige Einstellung für die ganze Liste. Mit diesem Kontrollkästchen können Sie keine einzelnen Bots auswählen.
Welche Bots stehen auf der Liste?
Es sind nicht nur KI-Tools.
| Art | Namen auf der Liste |
|---|---|
| KI-Unternehmen | GPTBot, ClaudeBot, CCBot, Amazonbot, Bytespider, PhindBot |
| Andere Suchmaschinen | YandexBot, Baiduspider, PetalBot, Sogou web spider, SeekportBot |
| SEO- und Marketing-Tools | AhrefsBot, SemrushBot, MJ12bot, DotBot, BLEXBot, DataForSeoBot, Barkrowler, ZoominfoBot |
| Webarchive und Überwachung | ia_archiver, SiteUptime |
| Scanner und allgemeine Programme | CensysInspect, Expanse, l9explore, zgrab, GenomeCrawlerd, Go-http-client, python-requests, Custom-AsyncHttpClient, crawl, nbot, Unknown |
Googlebot und Bingbot stehen nicht auf der Liste, und auch kein Eintrag, der für alle Programme gilt. Diese Einstellung bittet Google oder Bing also nicht, fernzubleiben.
Die Liste deckt auch nicht jedes KI-Tool ab. Kein Eintrag ist nach Grok benannt. KI-Unternehmen können mehrere Bots verwenden, und diese Namen ändern sich.
Speziell zu ChatGPT: OpenAI gibt an, dass GPTBot dem Training seiner KI-Modelle dient und OAI-SearchBot entscheidet, ob eine Website in der ChatGPT-Suche erscheint. GPTBot steht auf dieser Liste, OAI-SearchBot nicht. Diese Einstellung ist also nicht der Grund, wenn eine Website in der ChatGPT-Suche fehlt.
Wenn der Bericht eines KI-Tools meldet, dass Ihre robots.txt viele Bots auflistet, stimmt das. Wenn er behauptet, EverWeb hindere Google daran, Ihre Website zu sehen: Das tut diese Einstellung nicht. Hilfe zu Google finden Sie unter Warum finden Menschen meine Website nicht bei Google?
Die Einstellung ausschalten
Das Kontrollkästchen erscheint nur, wenn Veröffentl. in auf EverWeb gestellt ist.
- Öffnen Sie Ihr Projekt in EverWeb.
- Gehen Sie zu Datei > Veröffentlichungseinstellungen bearbeiten.
- Scrollen Sie nach unten zu Erweiterte Optionen und entfernen Sie das Häkchen bei Blockieren Sie KI-Bots.
- Gehen Sie zu Datei > Gesamte Site veröffentlichen.
Um die Einstellung wieder einzuschalten, setzen Sie das Häkchen und veröffentlichen Sie Ihre gesamte Website erneut. Diese Bots können viel Datenvolumen verbrauchen. Behalten Sie Ihres also im Auge, wenn Sie die Einstellung ausgeschaltet lassen.
Prüfen, ob es funktioniert hat
Rufen Sie in einem privaten Browserfenster yourdomain.com/robots.txt auf, mit Ihrer eigenen Adresse.
Es hat funktioniert, wenn die oben genannten Namen verschwunden sind. Vielleicht sehen Sie eine kurze Datei oder eine Meldung, dass die Seite nicht gefunden wurde. Beides ist in Ordnung.
Wenn die Liste noch da ist:
- Löschen Sie die gespeicherten Veröffentlichungsdateien von EverWeb. Gehen Sie auf dem Mac zu EverWeb > Einstellungen, unter Windows zu Bearbeiten > Optionen. Gehen Sie dann zu Backup > Cache-Dateien verwalten > Publish Cache (Veröffentlichungs-Cache), wählen Sie Ihre Website aus und wählen Sie In den Papierkorb legen.
- Gehen Sie erneut zu Datei > Gesamte Site veröffentlichen und prüfen Sie noch einmal.
- Wenn die Liste immer noch da ist, kontaktieren Sie uns. Beim Veröffentlichen werden Dateien, die bereits online sind, nicht gelöscht. Die alte Datei muss also eventuell vom Server entfernt werden. Wenn Sie bei uns hosten, können wir das erledigen.
Wenn Sie bei einem anderen Webhost veröffentlichen
Sie sehen das Kontrollkästchen nicht, aber Ihre robots.txt kann die Liste trotzdem enthalten. Prüfen Sie das unter der oben genannten Adresse. Wenn sie die Liste enthält und Sie das ändern möchten, kontaktieren Sie uns.
Erscheint meine Website dann in ChatGPT?
Das können wir nicht versprechen. Jedes KI-Unternehmen entscheidet selbst, was sein Tool liest, speichert und anzeigt, und EverWeb hat keine Einstellung, die Ihre Website dort einreicht. Das Ausschalten entfernt nur die Bitte. Wenn ein Tool eine Seite trotzdem nicht lesen kann, liegt der Grund möglicherweise auf seiner Seite.
Was Sie selbst in der Hand haben, ist klarer Text auf Ihren Seiten, denn den kann jedes Tool lesen. Mehr dazu unter Warum finden Menschen meine Website nicht bei Google?