Robots.txt

Definicion Rapida

robots.txt es un archivo de texto publico en la raiz de un sitio. Indica a crawlers de motores de busqueda que rutas pueden recuperar y que rutas no deberian recuperar. Su objetivo principal es controlar el crawl.

La frase SEO mas importante es esta: robots.txt controla crawling, pero no indexacion segura ni proteccion de acceso. Si una pagina no debe ser accesible publicamente, necesitas contrasena, login o reglas de servidor. Si una pagina no debe estar en el indice, muchas veces necesitas noindex, y Google debe poder rastrear la pagina para verlo.

robots.txt es util, pero arriesgado cuando se usa para la tarea equivocada.

Explicacion Sencilla

Piensa en robots.txt como un cartel en la entrada de un edificio. El cartel dice a los crawlers: "no entres en este pasillo" o "el mapa esta aqui". Crawlers respetables como Googlebot leen este cartel antes de recuperar URL.

Pero un cartel no es una cerradura. Cualquiera puede abrir el archivo en un navegador. Bots que ignoran reglas pueden ignorarlo. Y si otros sitios enlazan una URL bloqueada, Google puede conocer esa URL igualmente. En algunos casos, Google puede mostrar la URL aunque no haya rastreado el contenido.

robots.txt sirve para preguntas como:

• Que patrones de URL no deberian recuperar los crawlers?
• Que zonas desperdician atencion de crawl?
• Donde deberia encontrar Google el sitemap?
• Que recursos pueden recuperarse para analizar la pagina?

No sirve bien para preguntas como:

• Como protegemos datos confidenciales?
• Como eliminamos una pagina de Google de forma segura?
• Como consolidamos duplicados?

Donde Vive robots.txt

El archivo siempre vive en la raiz de un protocolo y host concreto:

~~~txt https://example.com/robots.txt ~~~

No se aplica automaticamente a todas las versiones de un dominio. Estos hosts y protocolos pueden tener cada uno su propio archivo:

~~~txt https://example.com/robots.txt https://www.example.com/robots.txt https://shop.example.com/robots.txt http://example.com/robots.txt ~~~

Esto importa durante migraciones, subdominios, sitios internacionales, CDNs y entornos de staging. Un robots.txt perfecto en www.example.com no ayuda si Googlebot rastrea shop.example.com.

Las Directivas Principales

User-agent

User-agent indica a que crawler aplica un grupo de reglas. User-agent: * aplica de forma amplia a crawlers. User-agent: Googlebot apunta al crawler web de Google.

Disallow

Disallow indica que rutas no deberia recuperar un crawler. Ejemplo:

~~~txt User-agent: * Disallow: /internal-search/ ~~~

Esto significa que los crawlers no deberian recuperar rutas bajo /internal-search/.

Allow

Allow puede definir excepciones dentro de zonas bloqueadas. Ejemplo:

~~~txt User-agent: Googlebot Disallow: /downloads/ Allow: /downloads/public-guide.pdf ~~~

Esto bloquea la carpeta amplia, pero permite un archivo concreto.

Sitemap

Sitemap indica la URL absoluta de un sitemap o sitemap index:

~~~txt Sitemap: https://www.example.com/sitemap.xml ~~~

Esta linea es una pista. No sustituye un sitemap limpio ni buen enlazado interno.

Ejemplo Simple

~~~txt User-agent: Googlebot Disallow: /test/

User-agent: * Disallow: /internal-search/

Sitemap: https://www.example.com/sitemap.xml ~~~

En este ejemplo, Googlebot no deberia recuperar /test/. Todos los crawlers deberian evitar /internal-search/. Tambien se indica un sitemap.

En la practica, cada linea deberia tener una razon documentada. Si nadie sabe por que una ruta esta bloqueada, robots.txt se convierte rapidamente en archivo de riesgo.

Que Controla Realmente robots.txt

Crawling

robots.txt indica a crawlers que rutas pueden recuperar. Ese es su trabajo central.

Trafico de Crawl

En sitios grandes, robots.txt puede ayudar a alejar crawlers de patrones de URL poco importantes, similares o infinitos: busqueda interna, parametros, filtros, ordenaciones o zonas de prueba.

Recuperacion de Recursos

robots.txt tambien puede bloquear imagenes, scripts o CSS. Usalo con cuidado. Si Google no puede recuperar recursos importantes, puede entender peor la pagina.

Descubrimiento de Sitemap

La linea sitemap ayuda a motores a encontrar sitemaps. Es practica, pero no es la razon principal de robots.txt.

Que No Puede Hacer robots.txt

No Es Seguridad Real

robots.txt es publico. Cualquier persona que abra https://example.com/robots.txt puede ver las rutas bloqueadas. El contenido privado debe estar detras de login, contrasena, VPN, reglas IP u otros controles de acceso.

No Es Desindexacion Fiable

Si una pagina esta bloqueada por robots.txt, Google no tiene permiso para rastrearla. Eso tambien significa que Google no puede ver un noindex en la pagina. Si otras paginas enlazan la URL, Google aun puede conocerla.

Si quieres retirar una pagina del indice, elige el metodo correcto: noindex, eliminacion, 404/410, control de acceso o combinaciones segun el caso.

noindex No Va en robots.txt

Google no admite noindex en robots.txt como regla. Disallow no es noindex.

No Sustituye canonical

Google necesita ver las senales canonical. Si bloqueas duplicados con robots.txt, Google puede no leer las pistas canonical de esas paginas.

robots.txt, noindex y canonical

robots.txt

Usa robots.txt cuando quieres controlar crawling: "no recuperen estas rutas".

noindex

Usa noindex cuando una pagina accesible no debe aparecer en el indice. Importante: la pagina debe ser rastreable para que Google vea noindex.

canonical

Usa canonical cuando varias URL muestran contenido similar y quieres comunicar una version preferida.

Control de Acceso

Usa control de acceso cuando el contenido es privado. No es un truco SEO; es seguridad.

Casos SEO Frecuentes

Busqueda Interna

Las paginas de busqueda interna suelen crear muchas paginas delgadas o duplicadas. robots.txt puede ayudar a mantener esos patrones fuera del crawl.

Navegacion Facetada

Los filtros ecommerce suelen crear enormes cantidades de combinaciones de URL. Algunas paginas de filtro son valiosas, muchas no. robots.txt puede formar parte de la estrategia, pero solo despues de decidir que paginas de filtro tienen valor de busqueda.

Parametros y Ordenaciones

Ordenaciones, parametros de tracking e IDs de sesion pueden crear variantes innecesarias. robots.txt puede bloquear patrones, pero no deberia ser la unica solucion a mala logica de URL.

Staging

Staging no deberia bloquearse solo en robots.txt. Debe protegerse. Si no, sigue siendo publico y solo queda "prohibido" para crawlers educados.

Archivos Media

Para imagenes, videos u otros archivos, robots.txt puede tener sentido segun el objetivo. Para paginas HTML, la diferencia con noindex es especialmente importante.

Ejemplo Practico

Un ecommerce ve que Googlebot recupera muchas URL como:

~~~txt /shoes?color=black&size=42&sort=price /shoes?color=black&size=43&sort=price /shoes?color=blue&size=42&sort=price ~~~

El equipo primero bloquea todas las URL con parametros de forma amplia. La carga de crawl baja, pero luego nota que algunas combinaciones de filtros tienen demanda real, como "black running shoes men". Esas paginas habrian funcionado mejor como landing pages curadas.

La mejor solucion es selectiva. Temas de filtro valiosos reciben landing pages, enlaces internos, contenido indexable y canonicals claros. Ordenaciones infinitas y parametros irrelevantes se restringen. robots.txt se vuelve parte de una estrategia, no un interruptor de emergencia bruto.

Errores Frecuentes

• Desplegar accidentalmente Disallow: / en produccion.
• Usar robots.txt para privacidad o seguridad.
• Esperar que Disallow retire una URL del indice de forma segura.
• Bloquear una pagina y esperar que Google vea noindex.
• Bloquear recursos CSS, JavaScript o imagenes importantes.
• Probar reglas en host, protocolo o subdominio equivocado.
• Bloquear todas las paginas de filtros sin comprobar demanda y valor.
• Indicar sitemaps con URL incorrectas o no absolutas.
• Desplegar cambios de robots.txt sin revision.
• No revisar cambios con Search Console o URL Inspection.

Mini-Workflow

1. Aclara la intencion: controlar crawl, impedir indexacion, consolidar duplicados o proteger contenido? 2. Usa robots.txt solo para control de crawl. 3. Revisa host, protocolo y subdominio. 4. Escribe reglas lo mas estrechas posible. 5. Revisa si se afectan paginas importantes, CSS, JavaScript, imagenes o senales canonical. 6. Prueba el archivo en navegador y con Search Console. 7. Documenta regla, fecha, razon y efecto esperado. 8. Monitoriza crawling e indexacion por separado. 9. Elimina reglas antiguas cuando su proposito ya no exista.

Perspectiva Contextter

Para Contextter, robots.txt no es un detalle tecnico aislado. El archivo influye en que contenido pueden recuperar los motores. Un hub de contenido necesita no solo buenos textos, sino tambien limites tecnicos claros: hacer visibles paginas centrales, reducir variantes de bajo valor y proteger correctamente areas privadas o no terminadas.

Un buen trabajo robots.txt siempre hace la misma pregunta: esta regla ayuda a los motores a entender mejor el contenido importante, o solo esconde un problema de arquitectura?

Terminos Relacionados

Buenas lecturas siguientes:

• crawling
• crawl-budget
• xml-sitemap
• noindex
• indexing
• canonical-tag

Fuentes de Revision

• Google Search Central: Introduction to robots.txt
• Google Crawling Infrastructure: How Google interprets robots.txt
• Google Crawling Infrastructure: Create a robots.txt file
• Google Search Console Help: robots.txt report
• Google Search Central: Block indexing with noindex
• Google Search Central: Robots meta tag specifications
• Google Search Central: What is Googlebot
• Google Search Central: Troubleshoot crawling errors