WordPress

La Guía Definitiva para la Optimización de Robots.txt de WordPress

Cuando creas un blog o un sitio web en WordPress, se crea automáticamente un archivo robots.txt. Este es un aspecto importante del SEO de su sitio web, ya que será utilizado por los motores de búsqueda cuando rastreen el contenido de su sitio.

Si quiere llevar el SEO de su sitio web al siguiente nivel, la optimización del archivo robots.txt en su sitio de WordPress es importante pero, desafortunadamente, no es tan simple como añadir palabras clave a su contenido. Por eso hemos elaborado esta guía sobre el archivo robots.txt de WordPress para que pueda empezar a perfeccionarlo y mejorar su posicionamiento en las búsquedas.

¿Qué es un archivo Robots.txt?

Al colocar los sitios web en las páginas de resultados de los motores de búsqueda (SERP), los motores de búsqueda como Google «rastrean» las páginas web y analizan su contenido. El archivo robots.txt de cualquier sitio web indica a los «bots» rastreadores qué páginas deben rastrear y cuáles no, lo que constituye básicamente una forma de Automatización robótica de procesos (RPA).

Puede ver el archivo robots.txt de cualquier sitio web escribiendo /robots.txt después del nombre del dominio. Tendrá un aspecto similar al siguiente:

Archivo Robots.txt

Vamos a desglosar cada uno de los elementos de la imagen anterior.

User-agent / Agente de usuario

El user-agent en un archivo robots.txt es el motor de búsqueda que debe leer el archivo robots.txt. En el ejemplo anterior, el agente de usuario está marcado con un asterisco, lo que significa que se aplica a todos los motores de búsqueda.

La mayoría de los sitios web están contentos de que todos los motores de búsqueda rastreen su sitio, pero a veces es posible que desee bloquear a todos los motores de búsqueda, excepto a Google, para que no rastreen su sitio o proporcionar instrucciones específicas para que motores de búsqueda como Google News o Google Images rastreen su sitio web.

Si este es el caso, debe averiguar el ID de agente de usuario de los motores de búsqueda a los que desea dar instrucciones. Esto es bastante simple de encontrar en línea, pero aquí están algunos de los principales:

  • Google: Googlebot
  • Google News: Googlebot-News
  • Google Images: Googlebot-Image
  • Google Video: Googlebot-Video
  • Bing: Bingbot
  • Yahoo: Slurp Bot

Allow y Disallow

En los archivos robots.txt, allow y disallow indican a los robots qué páginas y contenidos pueden y no pueden rastrear. Si, como se ha mencionado anteriormente, desea bloquear el rastreo de su sitio web por parte de todos los motores de búsqueda, excepto Google, puede utilizar el siguiente archivo robots.txt:

Robots.txt Permitir/rechazar

La barra (/) después de «Disallow» y «Allow» le dice al bot que puede o no puede rastrear todas las páginas. También puedes poner páginas específicas entre las barras para permitir o no que el bot las rastree.

Sitemap / Mapa de sitio

El «mapa del sitio» de un archivo robots.txt es un archivo XML que contiene una lista y detalles de todas las páginas de su sitio web. Su aspecto es el siguiente:

Añadir el archivo Sitemap Robots.txt

El mapa del sitio contiene todas las páginas web que desea que el bot descubra. El mapa del sitio es especialmente útil si tiene páginas web que desea que aparezcan en los resultados de la búsqueda, pero no son las típicas páginas de destino, como las entradas del blog.

Los mapas del sitio son especialmente importantes para los usuarios de WordPress que desean revitalizar su sitio web con entradas de blog y páginas de categoría. Muchas de ellas pueden no aparecer en las SERPs si no tienen su propio mapa del sitio robots.txt.

Estos son los aspectos fundamentales de un archivo robots.txt. Sin embargo, hay que tener en cuenta que su archivo robots.txt no es una forma segura de bloquear el rastreo de ciertas páginas por parte de los robots de los motores de búsqueda. Por ejemplo, si otro sitio utiliza textos de anclaje para enlazar con una página que usted ha «desautorizado» en su archivo robots.txt, los robots de los motores de búsqueda podrán seguir rastreando esa página.

¿Necesita un archivo Robots.txt en WordPress?

Si tiene un sitio web o un blog con WordPress, ya tendrá un archivo robots.txt generado automáticamente. A continuación se exponen algunas razones por las que es importante tener en cuenta su archivo robots.txt si desea asegurarse de tener un sitio de WordPress apto para el SEO.

Puede optimizar su presupuesto de rastreo

Un crawl budget, o cuota de rastreo, es el número de páginas que los robots de los motores de búsqueda rastrearán en su sitio web en un día determinado. Si no tiene un archivo robots.txt optimizado, podría estar desperdiciando su crawl budget e impidiendo que los bots rastreen las páginas de su sitio que desea que aparezcan primero en las SERPs.

Si vende productos o servicios a través de su sitio de WordPress, lo ideal es que las páginas con la mejor conversión de ventas sean priorizadas por los robots de rastreo.

Puede priorizar sus páginas de destino importantes

Al optimizar su archivo robots.txt, puede asegurarse de que las páginas de destino que desea que aparezcan primero en las SERP sean fáciles y rápidas de encontrar para los robots rastreadores. Dividir el índice de su sitio en un índice de «páginas» y de «publicaciones» es especialmente útil para esto, ya que puede asegurarse de que las publicaciones del blog aparezcan en las SERP en lugar de sólo sus páginas de destino estándar.

Por ejemplo, si su sitio web tiene muchas páginas y los datos de sus clientes muestran que las entradas de su blog generan muchas compras, puede utilizar mapas de sitio en su archivo robots.txt para asegurarse de que las entradas de su blog aparezcan en las SERP.

Puede mejorar la calidad general del SEO de su sitio web

Los profesionales del marketing son muy conscientes del gran retorno de la inversión en motores de búsqueda. Canalizar las búsquedas orgánicas hacia su sitio web centrándose en su SEO es más barato y, a menudo, más eficaz que los anuncios de pago y los enlaces de afiliados, aunque ambos ayudan.

Retorno de la inversión en el canal de marketing

La optimización de su archivo robots.txt no es la única forma de mejorar la clasificación de su sitio web o blog en las búsquedas. También es necesario que el contenido de las páginas sea apto para el SEO, para lo que puede necesitar la ayuda de un proveedor de SEO SaaS. Sin embargo, la edición de su archivo robots.txt es algo que puede hacer fácilmente usted mismo.

Cómo editar un archivo Robots.txt en WordPress

Si quiere editar su archivo robots.txt en WordPress, hay varias maneras de hacerlo. La mejor opción y la más sencilla es añadir un plugin a su sistema de gestión de contenidos, su panel de control de WordPress.

Añadir un plugin de SEO a su WordPress

Esta es la forma más fácil de editar su archivo robots.txt de WordPress. Hay un montón de buenos plugins de SEO por ahí que le permitirá editar el archivo robots.txt. Algunos de los más populares son Yoast, Rank Math y All In One SEO.

Añada un plugin Robots.txt a su WordPress

También hay plugins para WordPress diseñados específicamente para editar su archivo robots.txt. Los plugins de robots.txt más populares son Virtual Robots.txt, WordPress Robots.txt Optimization y Robots.txt Editor.

Cómo probar su archivo Robots.txt de WordPress

Si ha editado su archivo robots.txt, es importante que lo compruebe para asegurarse de que no ha cometido ningún error. Los errores en su archivo robots.txt podrían hacer que su sitio web fuera excluido por completo de las SERP.

Google Webmaster dispone de una herramienta de comprobación de robots.txt que puede utilizar de forma gratuita para comprobar su archivo. Para utilizarla, sólo tiene que añadir la URL de su página de inicio. Aparecerá el archivo robots.txt y verás «advertencia de sintaxis» y «error lógico» en las líneas del archivo que no funcionen.

Herramienta de comprobación de Google Webmaster Robots.txt

A continuación, puede introducir una página específica de su sitio web y seleccionar un agente de usuario para ejecutar una prueba que mostrará si esa página es «aceptada» o «bloqueada». Puede editar su archivo robots.txt en la herramienta de pruebas y ejecutar la prueba de nuevo si es necesario, pero tenga en cuenta que esto no cambiará su archivo real, tendrá que copiar y pegar la información editada en su editor de robots.txt y guardarla allí.

Cómo optimizar su archivo Robots.txt de WordPress para el SEO

La forma más sencilla de optimizar su archivo robots.txt es seleccionar las páginas que desea no permitir. En WordPress, las páginas típicas que podría no permitir son /wp-admin/, /wp-content/plugins/, /readme.html, /trackback/.

Por ejemplo, un proveedor de SaaS de marketing tiene muchas páginas y entradas diferentes en su sitio de WordPress. Al desautorizar páginas como /wp-admin/ y /wp-content/plugins/, pueden asegurarse de que las páginas que valoran sean priorizadas por los robots de rastreo.

Crear mapas del sitio y añadirlos a su archivo Robots.txt

WordPress crea un mapa del sitio genérico propio cuando se crea un blog o un sitio web con él. Normalmente se encuentra en example.wordpress.com/sitemap.xml. Si desea personalizar su mapa del sitio y crear mapas del sitio adicionales, debe utilizar un plugin de WordPress de robots.txt o SEO.

Puedes acceder a tu plugin en tu panel de control de WordPress y debería tener una sección para activar y editar tu mapa del sitio. Los buenos plugins le permitirán hacer y personalizar mapas de sitio adicionales, como un mapa de sitio de «páginas» y un mapa de sitio de «entradas» con facilidad.

Una vez configurados sus mapas de sitio, simplemente añádalos a su archivo robots.txt de la siguiente manera:

Robots.txt Añadir Mapa del Sitio

Adopte un enfoque minimalista

Aunque puede ser emocionante editar y optimizar su archivo robots.txt de WordPress, es importante tener un enfoque minimalista, menos es más. Esto se debe a que si no permite páginas en su sitio, esto impedirá que los robots de rastreo busquen en esas páginas otras páginas. Esto podría significar que las páginas clave no se descubran y que la integridad estructural de su sitio se debilite desde la perspectiva de los robots de los motores de búsqueda.

Tampoco es necesario «permitir» el acceso a todas las páginas de su sitio web en el robots.txt. Los robots de rastreo ya descubrirán esas páginas; en su lugar, concéntrese en sus mapas de sitio y en las páginas que debe desautorizar para que sus páginas clave se encuentren primero.

En esta guía, hemos proporcionado todo lo que necesita saber sobre los archivos robots.txt de WordPress. Desde explicar qué son los archivos robots.txt hasta profundizar en por qué y cómo debe optimizar su archivo robots.txt para el SEO, este artículo le ayudará si quiere encontrar formas sencillas y eficaces de mejorar el ranking de búsqueda de su sitio web de WordPress.

Publicidad

Síguenos en Facebook