Aprender · Visibilidad
Rastreo, indexación y citación
Tres etapas que se confunden en una sola. Entender dónde acaba tu control y dónde empieza el del motor evita gastar dinero en la etapa equivocada.
Respuesta directa
Permitir un rastreador solo significa que puede venir. No obliga a nadie a venir, ni a guardar lo que encuentre, ni a usarlo al responder, ni a nombrarte si lo usa.
Son cuatro decisiones y solo la primera es tuya. Confundirlas produce la frustración clásica: «he permitido el bot, ¿por qué no me cita?».
Las cuatro etapas, y quién decide en cada una
1 · Permiso — decides tú
Tu
robots.txty tus controles de acceso dicen quién puede pedir tus páginas. Es una convención voluntaria, no un control de seguridad: un rastreador malicioso la ignora y además falsifica su identidad.2 · Rastreo — decide el motor
El rastreador decide si viene, con qué frecuencia y cuánto rastrea. Permitirlo no lo obliga. Si tu sitio es lento o poco enlazado, puede venir poco.
3 · Indexación o recuperación — decide el motor
Que rastree no implica que guarde ni que considere tu página relevante para nada. Google declara que una página debe estar indexada para poder aparecer en sus funciones generativas.
4 · Citación — decide el motor, respuesta a respuesta
Aunque tu página esté indexada y sea relevante, el sistema elige qué fuentes usa y cuáles nombra en cada respuesta concreta. Ahí no hay palanca técnica.
Los controles son independientes entre sí
Un detalle que cambia decisiones de negocio: los proveedores serios separan el control de búsqueda del control de entrenamiento. Bloquear uno no bloquea el otro.
OpenAI lo documenta de forma explícita: bloquear GPTBot impide el uso para entrenamiento, y bloquear OAI-SearchBot impide la inclusión en las funciones de búsqueda de ChatGPT. Son dos decisiones distintas.
Google va más lejos y despeja la duda que frena a mucha gente: «Google-Extended no afecta a la inclusión de un sitio en Google Search ni se usa como señal de posicionamiento». Es decir, se puede negar el contenido al entrenamiento sin pagar un precio en buscador.
Qué controlas y qué no
| Aspecto | ¿Lo controlas? | Cómo |
|---|---|---|
| Quién puede pedir tus páginas | Sí, parcialmente | robots.txt para bots que lo respetan; autenticación y red para lo que de verdad debe protegerse. |
| Uso para entrenamiento | Sí, donde el proveedor lo separa | Reglas específicas por rastreador de entrenamiento. |
| Que vengan a rastrearte | No | Puedes facilitarlo: sitio rápido, enlazado y con sitemap. |
| Que te indexen | No | Puedes evitarlo con noindex; no puedes obligarlo. |
| Que te citen | No | Puedes hacer el contenido citable. La decisión no es tuya. |
| Que la cita traiga tráfico | No | Depende del formato de respuesta de cada motor. |
El caso especial: agentes disparados por una persona
Hay una categoría que se comporta distinto y conviene conocer: los agentes que visitan una página porque alguien lo ha pedido.
OpenAI advierte que sobre ChatGPT-User «las reglas de robots.txt pueden no aplicarse», por estar disparado por una acción humana. Perplexity documenta lo mismo de Perplexity-User: «generalmente ignora las reglas de robots.txt».
La lectura correcta no es «me lo saltan». Es que hay una persona real preguntando por ti. Bloquear eso es bloquear a un interesado, y rara vez conviene.
Qué hacer con esto
- Decide por finalidad, no por proveedor: búsqueda, citación, agente humano y entrenamiento son cuatro decisiones.
- No uses
robots.txtcomo seguridad. Lo que no debe verse se protege con autenticación. - Verifica el origen real: cuando el proveedor publica rangos de IP, la política se aplica comprobando la IP, no confiando en una cadena de texto que cualquiera puede escribir.
- Mide en los registros del servidor qué bots vienen de verdad. Es la única fuente que verifica que tu política hace algo.
Preguntas frecuentes
Si bloqueo el entrenamiento, ¿pierdo posicionamiento?
En Google, no: su documentación declara que Google-Extended no afecta a la inclusión en Google Search ni se usa como señal de posicionamiento. Sí pierdes el grounding en Gemini Apps y Vertex AI, que es una contrapartida real y conviene decidirla a conciencia.
He permitido todos los bots y no aparezco. ¿Qué falta?
Probablemente las etapas 2, 3 y 4, que no dependen del permiso. Permitir es condición necesaria, no suficiente. Lo que sí depende de ti es que el contenido merezca ser recuperado: pregunta delimitada, respuesta directa, procedencia y límites.
¿Todos los rastreadores respetan robots.txt?
No. Es una convención voluntaria. Los proveedores documentados que aparecen en nuestras fuentes declaran respetarla en sus rastreadores de rastreo, con la excepción explícita de los agentes disparados por una persona. Un rastreador malicioso ni la respeta ni se identifica con su nombre real.
Fuentes primarias
Cada afirmacion sensible de esta pagina se apoya en una de estas fuentes, consultada en la fecha indicada. Las listas de bots, capacidades y borradores cambian: se reverifican en cada revision.
| Entidad | Documento | Consultada |
|---|---|---|
| OpenAI | Bots y rastreadores de OpenAI | 2026-08-30 |
| Google Search Central | Rastreadores comunes de Google | 2026-08-30 |
| Google Search Central | Guía de optimización para funciones de IA generativa (actualizada 2026-07-10) | 2026-08-30 |
| Perplexity | Bots de Perplexity | 2026-08-30 |
Siguiente decisión
Continúa con una pregunta concreta
Rastreadores de IA, por finalidad
Una lectura relacionada dentro del mismo método.
Rastreadores de IA, por finalidad →
Auditoría SEO, AEO y GEO
Qué podemos abordar contigo y cómo delimitamos el trabajo.
Auditoría SEO, AEO y GEO →
Ilustraciones conceptuales; no son fotografías de clientes.