EverWeb tiene un ajuste llamado Bloquear bots de IA, que está activado por defecto. Pide a una lista de herramientas de IA y otros programas automáticos que no lean tu sitio web. Google y Bing no están en la lista, y tampoco el bot que OpenAI usa para las búsquedas de ChatGPT. Puedes desactivar el ajuste, pero eso no garantiza que tu sitio web aparezca en las respuestas de ChatGPT ni de ninguna otra herramienta de IA.
Qué hace el ajuste
Cuando Bloquear bots de IA está marcado y publicas, EverWeb añade una lista de nombres a un archivo de tu sitio web llamado robots.txt. Ese archivo indica a cada programa de la lista que no debe leer tu sitio web.
El archivo es una petición. Los programas que se portan bien la respetan y otros pueden ignorarla. Existe porque algunos bots recorren los sitios web para recopilar contenido con el que entrenarse y pueden consumir mucho de tu ancho de banda.
Es un único ajuste para toda la lista. Con esta casilla no puedes elegir los bots uno por uno.
¿Qué bots hay en la lista?
No son solo herramientas de IA.
| Tipo | Nombres de la lista |
|---|---|
| Empresas de IA | GPTBot, ClaudeBot, CCBot, Amazonbot, Bytespider, PhindBot |
| Otros buscadores | YandexBot, Baiduspider, PetalBot, Sogou web spider, SeekportBot |
| Herramientas de SEO y marketing | AhrefsBot, SemrushBot, MJ12bot, DotBot, BLEXBot, DataForSeoBot, Barkrowler, ZoominfoBot |
| Archivo y supervisión de la web | ia_archiver, SiteUptime |
| Escáneres y programas de uso general | CensysInspect, Expanse, l9explore, zgrab, GenomeCrawlerd, Go-http-client, python-requests, Custom-AsyncHttpClient, crawl, nbot, Unknown |
Googlebot y Bingbot no están en la lista, ni tampoco nada que abarque a todos los programas, así que este ajuste no pide a Google ni a Bing que se mantengan alejados.
La lista tampoco incluye todas las herramientas de IA. Ninguno de sus nombres corresponde a Grok. Las empresas de IA pueden usar varios bots, y estos nombres cambian.
En el caso concreto de ChatGPT: OpenAI indica que GPTBot sirve para entrenar sus modelos de IA, y que OAI-SearchBot es el que decide si un sitio web aparece en las búsquedas de ChatGPT. GPTBot está en esta lista y OAI-SearchBot no, así que este ajuste no es lo que impide que un sitio web aparezca en las búsquedas de ChatGPT.
Si el informe de una herramienta de IA dice que tu robots.txt incluye muchos bots, es correcto. Si dice que EverWeb impide que Google vea tu sitio web, este ajuste no hace eso. Para obtener ayuda con Google, consulta ¿Por qué la gente no encuentra mi sitio web en Google?
Desactivarlo
La casilla solo aparece cuando Publicar en está configurado como EverWeb.
- Abre tu proyecto en EverWeb.
- Ve a Archivo > Editar ajustes de publicación.
- Desplázate hacia abajo hasta Opciones avanzadas y desmarca Bloquear bots de IA.
- Ve a Archivo > Publicar sitio completo.
Para volver a activarlo, marca la casilla y vuelve a publicar el sitio completo. Estos bots pueden consumir mucho ancho de banda, así que vigila el tuyo si lo dejas desactivado.
Comprobar que ha funcionado
Abre yourdomain.com/robots.txt en una ventana privada del navegador, con tu propia dirección.
Ha funcionado si los nombres de arriba ya no aparecen. Puede que veas un archivo corto o un mensaje de página no encontrada. Las dos cosas son normales.
Si la lista sigue ahí:
- Borra los archivos de publicación que EverWeb tiene guardados. En un Mac, ve a EverWeb > Ajustes. En Windows, ve a Editar > Opciones. Luego ve a Copia de seguridad > Gestionar archivos de caché > Publish Cache (caché de publicación), selecciona tu sitio web y elige Mover a la papelera.
- Vuelve a ir a Archivo > Publicar sitio completo y comprueba de nuevo.
- Si sigue ahí, ponte en contacto con nosotros. Al publicar no se eliminan los archivos que ya están en línea, así que puede que haya que quitar el archivo antiguo del servidor. Si tienes el alojamiento con nosotros, podemos hacerlo por ti.
Si publicas en otro proveedor de alojamiento
No verás la casilla, pero puede que tu robots.txt incluya igualmente la lista. Compruébalo en la dirección indicada arriba. Si la incluye y quieres cambiarlo, ponte en contacto con nosotros.
¿Aparecerá entonces mi sitio web en ChatGPT?
No podemos prometerlo. Cada empresa de IA decide qué lee, guarda y muestra su herramienta, y EverWeb no tiene ningún ajuste que les envíe tu sitio web. Desactivar esta opción solo elimina la petición. Si una herramienta sigue sin poder leer una página, puede que el motivo esté en su lado.
Lo que sí puedes controlar es que tus páginas tengan un texto claro, porque eso es lo que cualquier herramienta puede leer. En ¿Por qué la gente no encuentra mi sitio web en Google? se explica cómo.