configurar robots.txt para wordpress

Un ejemplo de configuración del archivo robots.txt para WordPress

No hay un archivo robots.txt universal para todas las páginas, según la configuración de tu sitio puede que necesites añadir, modificar o quitar restricciones. Eso si, a la hora de configurar el archivo robots.txt para WordPress, hay una serie de normas que se cumplen casi siempre.

Para ayudarte a comprender mejor el funcionamiento de este archivo vamos a trabajar con un ejemplo real. Se trata del mismo archivo que utilizamos en este blog, de ahí que sea un ejemplo orientado a WordPress.

Recientemente he actualizado mi archivo robots.txt como sigue (sin los números de línea):

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://www.blogmania.es/sitemap.xml

Ahora vamos a comentar cada línea:

  • Línea 1 – Declaramos que las instrucciones que vienen a continuación son válidas para todos los robots de cualquier buscador.
  • Línea 2 – Bloqueamos el directorio de administración del WordPress
  • Línea 3 –  Sin embargo dentro de este directorio, queremos que el archivo “admin-ajax.php” sea visible, por lo que lo indicamos de forma individual.
  • Línea 4 – Indicamos la ruta donde se encuentra el mapa XML de mi sitio,

Sobre el bloqueo de /wp-admin/

Debes saber que aunque por defecto siempre se suele bloquear la carpeta /wp-admin/ en el archivo robots.txt esto no es no es necesario. WordPress ya bloquea las páginas del directorio mediante la cabecera HTTP X-Robots-Tag.

Recursos

Si necesitas más información sobre la configuración del archivo robots.txt puedes encontrarla en las siguientes páginas:

 

Autor entrada: admin

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *