Publicar · Visibilidad
robots.txt, sitemap y canonical
Tres herramientas que resuelven tres problemas distintos y que se usan mal precisamente por confundirlos.
Respuesta directa
robots.txt dice quién puede pedir qué. El sitemap sugiere qué merece la pena mirar. canonical dice cuál es la versión buena cuando hay varias parecidas.
Ninguno sustituye a los otros dos, y ninguno de los tres es un control de acceso.
Qué hace y qué NO hace cada uno
| Herramienta | Qué hace | Qué NO hace |
|---|---|---|
robots.txt | Pide a los rastreadores que respetan la convención que no pidan ciertas rutas. | No protege nada. No impide indexar una URL que otros enlacen. No obliga a nadie. |
| Sitemap | Ofrece una lista de URLs que el sitio considera relevantes, con su fecha. | No obliga a rastrear, ni a indexar, ni mejora el posicionamiento por existir. |
canonical | Indica cuál es la versión preferida entre varias equivalentes. | Es una señal, no una orden. No arregla contenido duplicado de fondo. |
El error más caro: usar robots.txt como seguridad
robots.txt es un archivo público. Escribir en él la ruta de una zona privada equivale a publicar un índice de lo que se quiere ocultar.
Lo que no debe verse se protege con autenticación o con red. La línea del robots.txt sirve, como mucho, para evitar ruido de rastreo en rutas que ya están protegidas por otro medio.
Y el segundo: bloquear lo que se quiere desindexar
Si una URL se bloquea en robots.txt, el rastreador no puede leerla, y por tanto tampoco puede ver la instrucción noindex que hay dentro. El resultado es el contrario del buscado: la URL puede seguir apareciendo, sin descripción, porque nadie ha podido leer la orden de retirarla.
Para retirar una página del índice hay que permitir que se rastree y decirle dentro que no se indexe. Suena contraintuitivo y es la causa de una parte notable de los problemas de indexación que vemos.
El sitemap no es una lista de deseos
Nuestro criterio operativo: un sitemap solo debe contener URLs que devuelven 200, que son canónicas de sí mismas y que se quieren indexar. Nada más.
Incluir redirecciones, errores, páginas con noindex o versiones no canónicas no acelera nada: solo indica que el sitio no sabe cuál es su propio contenido bueno. Y una página que solo existe en el sitemap, sin un enlace interno que lleve a ella, tiene otro problema anterior: es huérfana.
Preguntas frecuentes
¿Bloqueo en robots.txt o pongo noindex?
noindex para retirar del índice, y para eso hay que permitir el rastreo. robots.txt para evitar que se rastree algo que no aporta, sabiendo que no lo protege ni garantiza la desindexación.
¿Mejora el posicionamiento tener sitemap?
No por existir. Ayuda al descubrimiento, sobre todo en sitios grandes o poco enlazados. Un sitio pequeño y bien enlazado internamente se descubre igual sin él.
¿Canonical resuelve el contenido duplicado?
Resuelve la ambigüedad entre versiones equivalentes de la misma página. No resuelve tener dos páginas distintas que dicen lo mismo: eso se resuelve fusionándolas o diferenciándolas.
Fuentes primarias
Cada afirmacion sensible de esta pagina se apoya en una de estas fuentes, consultada en la fecha indicada. Las listas de bots, capacidades y borradores cambian: se reverifican en cada revision.
| Entidad | Documento | Consultada |
|---|---|---|
| Google Search Central | Rastreadores comunes de Google | 2026-08-30 |
| Google Search Central | Guía de optimización para funciones de IA generativa (actualizada 2026-07-10) | 2026-08-30 |
Siguiente decisión
Continúa con una pregunta concreta
Webs corporativas y transaccionales
Qué podemos abordar contigo y cómo delimitamos el trabajo.
Webs corporativas y transaccionales →
Ilustraciones conceptuales; no son fotografías de clientes.