EverWeb ha un'impostazione chiamata Blocca i bot AI, attiva per impostazione predefinita. Chiede a un elenco di strumenti di IA e di altri programmi automatici di non leggere il tuo sito web. Google e Bing non sono nell'elenco, e nemmeno il bot che OpenAI usa per la ricerca di ChatGPT. Puoi disattivare l'impostazione, ma questo non garantisce che il tuo sito web compaia nelle risposte di ChatGPT o di altri strumenti di IA.
Cosa fa l'impostazione
Quando Blocca i bot AI ha la spunta e pubblichi, EverWeb aggiunge un elenco di nomi a un file del tuo sito web chiamato robots.txt. Il file dice a ogni programma dell'elenco che non deve leggere il tuo sito web.
Il file è una richiesta. I programmi corretti la rispettano, gli altri possono ignorarla. Esiste perché alcuni bot scansionano i siti web per raccogliere contenuti di addestramento e possono consumare molta della tua larghezza di banda.
È un'unica impostazione per tutto l'elenco. Con questa casella non puoi scegliere i bot uno per uno.
Quali bot sono nell'elenco?
Non ci sono solo strumenti di IA.
| Tipo | Nomi nell'elenco |
|---|---|
| Aziende di IA | GPTBot, ClaudeBot, CCBot, Amazonbot, Bytespider, PhindBot |
| Altri motori di ricerca | YandexBot, Baiduspider, PetalBot, Sogou web spider, SeekportBot |
| Strumenti SEO e di marketing | AhrefsBot, SemrushBot, MJ12bot, DotBot, BLEXBot, DataForSeoBot, Barkrowler, ZoominfoBot |
| Archivi web e monitoraggio | ia_archiver, SiteUptime |
| Scanner e programmi generici | CensysInspect, Expanse, l9explore, zgrab, GenomeCrawlerd, Go-http-client, python-requests, Custom-AsyncHttpClient, crawl, nbot, Unknown |
Googlebot e Bingbot non sono nell'elenco, e non c'è nemmeno una voce che valga per tutti i programmi, quindi questa impostazione non chiede a Google o a Bing di stare alla larga.
L'elenco non comprende nemmeno tutti gli strumenti di IA. Nessun nome si riferisce a Grok. Le aziende di IA possono usare più bot, e questi nomi cambiano.
Per ChatGPT in particolare: OpenAI spiega che GPTBot serve per addestrare i suoi modelli di IA, mentre OAI-SearchBot è quello che decide se un sito web compare nella ricerca di ChatGPT. GPTBot è in questo elenco e OAI-SearchBot no, quindi non è questa impostazione a tenere un sito web fuori dalla ricerca di ChatGPT.
Se il report di uno strumento di IA dice che il tuo robots.txt elenca molti bot, è corretto. Se dice che EverWeb impedisce a Google di vedere il tuo sito web, questa impostazione non lo fa. Per un aiuto con Google, vedi Perché le persone non trovano il mio sito web su Google?
Disattivarla
La casella compare solo quando Pubblica su è impostato su EverWeb.
- Apri il tuo progetto in EverWeb.
- Vai su File > Modificare le impostazioni di pubblicazione.
- Scorri fino a Opzioni avanzate e togli la spunta da Blocca i bot AI.
- Vai su File > Pubblica l'intero sito.
Per riattivarla, rimetti la spunta e pubblica di nuovo l'intero sito. Questi bot possono consumare molta larghezza di banda, quindi tieni d'occhio la tua se la lasci disattivata.
Verificare che abbia funzionato
Apri yourdomain.com/robots.txt in una finestra di navigazione privata, usando il tuo indirizzo.
Ha funzionato se i nomi elencati sopra non ci sono più. Potresti vedere un file breve, oppure un messaggio di pagina non trovata. Vanno bene entrambi.
Se l'elenco c'è ancora:
- Cancella i file di pubblicazione salvati da EverWeb. Su Mac, vai su EverWeb > Impostazioni. Su Windows, vai su Modifica > Opzioni. Poi vai su Backup > Gestisci file della cache > Publish Cache (cache di pubblicazione), seleziona il tuo sito web e scegli Sposta nel cestino.
- Vai di nuovo su File > Pubblica l'intero sito e ricontrolla.
- Se c'è ancora, contattaci. La pubblicazione non elimina i file già online, quindi potrebbe essere necessario rimuovere il vecchio file dal server. Se il tuo hosting è con noi, possiamo farlo noi.
Se pubblichi su un altro host
Non vedrai la casella, ma il tuo robots.txt potrebbe comunque contenere l'elenco. Controllalo all'indirizzo indicato sopra. Se lo contiene e vuoi cambiarlo, contattaci.
Il mio sito web comparirà allora in ChatGPT?
Non possiamo promettertelo. Ogni azienda di IA decide che cosa il suo strumento legge, conserva e mostra, ed EverWeb non ha nessuna impostazione che invii il tuo sito web a loro. Disattivare questa opzione elimina solo la richiesta. Se uno strumento continua a non riuscire a leggere una pagina, il motivo potrebbe dipendere da lui.
Quello che puoi controllare è avere testi chiari sulle tue pagine, perché è ciò che qualsiasi strumento riesce a leggere. Perché le persone non trovano il mio sito web su Google? ne parla.