Configurar un archivo robots.txt para WordPress

Para asegurarte de que tu sitio tenga un buen posicionamiento en los motores de búsqueda, tendrás que facilitarle el trabajo a sus robots para que exploren tus páginas más importantes. Tener un archivo robots.txt bien estructurado ayudará a dirigirlos hacia las páginas que querés que se indexen.

En este artículo, vamos a tratar:

1. Qué es un archivo robots.txt.

2. Dónde se encuentra el archivo robots.txt en WordPress.

3. Qué reglas incluir en tu archivo robots.txt de WordPress.

4. Cómo crear un archivo robots.txt.

5. Cómo probar el archivo robots.txt y enviarlo a Google Search Console.


1. Qué es un archivo robots.txt:

El archivo robots.txt predeterminado de WordPress es bastante básico, pero podés reemplazarlo fácilmente.

Cuando creás un nuevo sitio web, los motores de búsqueda envían a sus robots a ‘rastrearlo’ y crean un mapa de todas las páginas que contiene. De esta forma, sabrán qué páginas mostrar cuando alguien busque palabras clave relacionadas. En un nivel básico, es así de simple.

El problema es que los sitios web modernos contienen muchos más elementos aparte de páginas. Por ejemplo, WordPress te permite instalar plugins, que a menudo vienen con sus propios directorios. Sin embargo, no querrás que aparezcan en los resultados de los motores de búsqueda, ya que no son contenidos relevantes.

Lo que hace el archivo robots.txt es proporcionar un conjunto de instrucciones para los robots de los motores de búsqueda. Les dice: “¡Oigan, pueden mirar aquí, pero no vayan a esas habitaciones de allí!” Este archivo puede ser tan detallado como quieras, y es bastante fácil de crear, incluso si no eres experto en los aspectos técnicos.

En la práctica, los motores de búsqueda rastrearán tu sitio web, incluso si no tenés un archivo robots.txt configurado. Sin embargo, no crearlo es ineficiente. Sin este archivo, estás dejando que los robots indexen todo tu contenido, y son tan minuciosos que podrían terminar mostrando partes de tu sitio web al cual no querés que otras personas accedan.

Lo más importante es que, sin un archivo robots.txt, tendrás muchos robots en tu sitio web. Esto puede afectar negativamente su rendimiento. Incluso si el contacto es insignificante, la velocidad de la página es algo que siempre debería estar entre tus principales prioridades.

2. Dónde está ubicado el archivo robots.txt en wordpress

Cuando creás un sitio web de WordPress, se configura automáticamente un archivo robots.txt virtual ubicado en la carpeta raíz de tu servidor. Por ejemplo, si tu sitio está ubicado en misitioweb.com, deberías poder visitar la dirección misitioweb.com/robots.txt, y ver un archivo como este:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Este es un ejemplo de un archivo robots.txt muy básico. Explicaremos qué significa cada parte:

User-agent declara a qué robots se aplican las reglas a continuación. Un asterisco significa que las reglas son universales y se aplican a todos los robots. En este caso, el archivo le dice a esos robots que no pueden ir a tus directorios wp-admin y wp-includes. Eso tiene cierto sentido, ya que esas dos carpetas contienen una gran cantidad de archivos confidenciales.

Sin embargo, es posible que quieras agregar más reglas a tu propio archivo. Antes de que puedas hacerlo, necesitarás entender que este es un archivo virtual. Por lo general, la ubicación del archivo robots.txt de WordPress está dentro de tu directorio raíz, que a menudo se denomina public_html o www (o lleva el nombre de tu sitio web):

Sin embargo, el archivo robots.txt que WordPress configura de forma predeterminada no es accesible desde ningún directorio. Funciona, pero si querés realizar cambios, deberás crear tu propio archivo y cargarlo en tu carpeta raíz como reemplazo.

3. Qué reglas incluir en el archivo robots.txt de WordPress:

En la sección anterior, vimos un ejemplo de un archivo robots.txt generado por WordPress. Solo incluía dos reglas cortas, pero la mayoría de los sitios web configuran más que eso. Veamos estos dos archivos robots.txt diferentes y hablemos sobre lo que cada uno hace.

Aquí está nuestro primer ejemplo de robots.txt de WordPress:

User-agent: *
Allow: /
# Disallowed Sub-Directories
Disallow: /checkout/
Disallow: /images/
Disallow: /forum/

Este es un archivo robots.txt genérico para un sitio web con un foro. Los motores de búsqueda a menudo indexan cada hilo dentro de un foro. Sin embargo, dependiendo para qué sea tu foro, es posible que desees rechazarlo. De esta forma, Google no indexará cientos de hilos sobre usuarios que hacen una pequeña charla. También podés establecer reglas que indiquen subforos específicos para evitar, y que permitan que los motores de búsqueda rastreen el resto.

También verás una línea que dice Allow: / en la parte superior del archivo. Esa línea le dice a los robots que pueden rastrear todas las páginas de tu sitio web, aparte de las excepciones que estableces. Del mismo modo, observarás que indicamos que estas reglas sean universales (con un asterisco), al igual que lo hace el archivo robots.txt virtual de WordPress.

Ahora veamos otro ejemplo de robots.txt de WordPress:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

User-agent: Bingbot

Disallow: /

En este archivo, configuramos las mismas reglas que WordPress realiza de forma predeterminada. Sin embargo, también agregamos un nuevo conjunto de reglas que impiden que el robot de búsqueda de Bing rastree nuestro sitio web. Bingbot es el nombre de ese robot.

Podés ser bastante específico respecto de cuáles robots de motores de búsqueda tienen acceso a tu sitio web y cuáles no. En la práctica, Bingbot es bastante benigno. Sin embargo, hay algunos robots maliciosos por ahí.

La mala noticia es que no siempre siguen las instrucciones de tu archivo robots.txt. Vale la pena tener en cuenta que, aunque la mayoría de los robots seguirán las instrucciones que les des en este archivo, no los obligarás a hacerlo.

A continuación, se muestra un ejemplo de cómo recomendamos que sea tu primer archivo robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/

Tradicionalmente, a WordPress le gusta bloquear el acceso a los directorios wp-admin y wp-includes. Sin embargo, eso ya no se considera una buena práctica. Además, si agregás metadatos a tus imágenes con fines de SEO, no tiene sentido prohibir que los robots rastreen esa información. En cambio, las dos reglas anteriores cubren lo que la mayoría de los sitios básicos requerirán.

Lo que incluyas en tu archivo robots.txt dependerá de tu sitio y de tus necesidades específicas.

4. Cómo crear un archivo robots.txt en WordPress (3 métodos)

Una vez que hayas decidido qué incluir en tu archivo robots.txt, solo falta crearlo. Podés editar robots.txt en WordPress usando un plugin o manualmente. En esta sección, te enseñaremos a usar dos plugins populares para hacer este trabajo, y analizaremos cómo crear y cargar el archivo tu mismo.

a. Yoast SEO (Metodo recomendable)

Yoast SEO es el plugin de SEO más popular para WordPress, y te permite optimizar tus publicaciones y páginas para hacer un mejor uso de tus palabras clave. Además de eso, también te proporciona ayuda cuando se trata de aumentar la legibilidad de tu contenido, lo que significa que más personas podrán disfrutarlo.

Yoast SEO es un plugin que se caracteriza por su facilidad de uso, lo cual también se aplica a la creación de un archivo robots.txt. Una vez que instales y actives el plugin, andá a la pestaña SEO > Herramientas en tu escritorio, y buscá la opción que dice Editor de archivos:

Al hacer click en ese enlace, irás a una nueva página, donde podrás editar tu archivo .htaccess sin salir de tu escritorio. También hay un botón útil con el texto Crear archivo robots.txt, el cual hace exactamente lo que dice:

Cuando hagas click en este botón, la pestaña mostrará un nuevo editor donde podrás modificar tu archivo robots.txt directamente. Tené en cuenta que Yoast SEO establece sus propias reglas predeterminadas, que anulan tu archivo robots.txt virtual existente.

Cada vez que agregues o elimines reglas, recordá hacer click en el botón Guardar cambios en robots.txt, para que se apliquen:

b. All in One SEO Pack

All in One SEO Pack es otro nombre conocido cuando se trata de SEO en WordPress. Incluye la mayoría de las funciones que ofrece Yoast SEO, pero algunas personas lo prefieren porque es un plugin más liviano. En cuanto a robots.txt, crear el archivo con este plugin es igual de simple.

Una vez que hayas configurado el plugin, andá a la página All in One SEO > Gestor de utilidades en tu escritorio. Dentro, encontrarás una opción llamada Robots.txt, con un botón visible para Activar justo debajo. Hacé click sobre este:

Ahora, aparecerá una nueva pestaña Robots.txt en tu menú All in One SEO. Si hacés click en él, verás opciones para agregar nuevas reglas a tu archivo, guardar los cambios que hagas o eliminarlo por completo:

Tené en cuenta que no podés realizar cambios en tu archivo robots.txt directamente con este plugin. El archivo en sí está atenuado en gris, a diferencia de Yoast SEO, que te permite escribir lo que quieras:

En cualquier caso, agregar nuevas reglas es simple, así que no dejes que ese pequeño inconveniente te desanime. Lo que es más importante, All in One SEO Pack también incluye una función que puede ayudarte a bloquear robots “malos”, a la cual podés acceder desde tu pestaña All in One SEO:

c. Creá y cargá tu archivo robots.txt de WordPress a través de FTP

Todo lo que tenés que hacer es abrir tu editor de texto favorito (como Notepad o TextEdit) y escribir un par de líneas. Luego podés guardar el archivo usando el nombre que quieras y la extension txt. Esto te tomará unos segundos, por lo que tiene sentido que quieras editar robots.txt en WordPress sin usar un plugin.

Aquí hay un ejemplo rápido de un archivo:

Para los propósitos de este tutorial, guardamos este archivo directamente en nuestra computadora. Una vez que hayas creado y guardado tu propio archivo, deberás conectarte a tu sitio web a través de FTP.

Una vez que estés conectado a tu sitio, andá a la carpeta public_html. Entonces, todo lo que tenés que hacer es cargar el archivo robots.txt desde tu computadora a tu servidor. Podés hacer click con el botón derecho en el archivo utilizando el navegador local de tu cliente FTP, o simplemente arrastrándolo y colocándolo en su lugar:

El archivo solo debe tardar unos segundos en cargarse. Como podés ver, este método es casi tan simple como usar un plugin.

5. Cómo probar el archivo robots.txt de WordPress y enviarlo a Google Search Console

Una vez que creado y cargado tu archivo robots.txt de WordPress, podés usar Google Search Console para probarlo en busca de errores. Search Console es una colección de herramientas que Google ofrece para ayudarte a monitorear cómo se muestra tu contenido en los resultados de búsqueda. Una de estas herramientas es un verificador de robots.txt, que podés utilizar iniciando sesión en tu consola y navegando a la pestaña de Probador de robots.txt bajo el menú “Rastreo”:

Adentro encontrarás un campo de editor donde podés agregar el código del archivo robots.txt de WordPress y hacer clic en el botón Enviar justo debajo. Google Search Console te preguntará si querés usar ese nuevo código o extraer el archivo de tu sitio web. Hacé click en la opción que dice Solicita a Google la actualización para enviarla manualmente:

Ahora, la plataforma verificará tu archivo en busca de errores. Si hay alguno, te lo mostrará.

Conclusión

Para aumentar la exposición de tu sitio, deberás asegurarte que los robots de los motores de búsqueda rastreen la información más relevante. Como hemos visto, un archivo robots.txt de WordPress bien configurado te permitirá determinar exactamente cómo interactúan esos robots con tu sitio. De esta forma, podrán mostrarle a los buscadores contenido más relevante y útil.

Deja una respuesta