Recientemente, uno de nuestros lectores nos pidió consejos sobre cómo optimizar el archivo robots.txt para mejorar el SEO.
El archivo Robots.txt le dice a los motores de búsqueda cómo rastrear su sitio web, lo que lo convierte en una herramienta de SEO increíblemente poderosa.
En este artículo, le mostraremos cómo crear un archivo robots.txt perfecto para SEO.
¿Qué es el archivo robots.txt?
Robots.txt es un archivo de texto que los propietarios de sitios web pueden crear para decirles a los robots de los motores de búsqueda cómo rastrear e indexar páginas en su sitio.
Por lo general, se almacena en el directorio raíz, también conocido como carpeta principal, de su sitio web. El formato básico de un archivo robots.txt tiene este aspecto:
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
Puede tener varias líneas de instrucciones para permitir o no permitir URL específicas y agregar varios mapas del sitio. Si no rechaza una URL, los robots de los motores de búsqueda suponen que pueden rastrearla.
Así es como puede verse un archivo de ejemplo robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
En el ejemplo de robots.txt anterior, hemos permitido que los motores de búsqueda rastreen e indexen archivos en nuestra carpeta de cargas de WordPress.
Después de eso, no permitimos que los robots de búsqueda rastreen e indexen complementos y carpetas de administración de WordPress.
Por último, hemos proporcionado la URL de nuestro mapa del sitio XML.
¿Necesita un archivo Robots.txt para su sitio de WordPress?
Si no tiene un archivo robots.txt, los motores de búsqueda seguirán rastreando e indexando su sitio web. Sin embargo, no podrá decirle a los motores de búsqueda qué páginas o carpetas no deben rastrear.
Esto no tendrá mucho impacto cuando inicie un blog por primera vez y no tenga mucho contenido.
Sin embargo, a medida que su sitio web crece y tiene una gran cantidad de contenido, es probable que desee tener un mejor control sobre cómo se rastrea e indexa su sitio web.
He aquí por qué.
Los robots de búsqueda tienen una cuota de rastreo para cada sitio web.
Esto significa que rastrean una determinada cantidad de páginas durante una sesión de rastreo. Si no terminan de rastrear todas las páginas de su sitio, volverán y reanudarán el rastreo en la próxima sesión.
Esto puede ralentizar la tasa de indexación de su sitio web.
Puede solucionar esto impidiendo que los robots de búsqueda intenten rastrear páginas innecesarias, como las páginas de administración de WordPress, los archivos de complementos y la carpeta de temas.
Al no permitir páginas innecesarias, guarda su cuota de rastreo. Esto ayuda a los motores de búsqueda a rastrear aún más páginas en su sitio e indexarlas lo más rápido posible.
Otra buena razón para usar el archivo robots.txt es cuando desea evitar que los motores de búsqueda indexen una publicación o página en su sitio web.
No es la forma más segura de ocultar contenido al público en general, pero le ayudará a evitar que aparezcan en los resultados de búsqueda.
¿Qué aspecto tiene un archivo Ideal Robots.txt?
Muchos blogs populares utilizan un archivo robots.txt muy simple. Su contenido puede variar, según las necesidades del sitio específico:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Este archivo robots.txt permite a todos los bots indexar todo el contenido y les proporciona un enlace a los mapas del sitio XML del sitio web.
Para los sitios de WordPress, recomendamos las siguientes reglas en el archivo robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Esto le dice a los robots de búsqueda que indexen todas las imágenes y archivos de WordPress. No permite que los robots de búsqueda indexen los archivos de complementos de WordPress, el área de administración de WordPress, el archivo Léame de WordPress y los enlaces de afiliados.
Al agregar mapas de sitio al archivo robots.txt, facilita que los bots de Google encuentren todas las páginas de su sitio.
Ahora que sabe cómo es un archivo robots.txt ideal, echemos un vistazo a cómo puede crear un archivo robots.txt en WordPress.
¿Cómo crear un archivo Robots.txt en WordPress?
Hay dos formas de crear un archivo robots.txt en WordPress. Puede elegir el método que mejor se adapte a sus necesidades.
Método 1: editar el archivo Robots.txt usando todo en uno SEO
SEO todo en uno también conocido como AIOSEO es el mejor complemento de SEO para WordPress del mercado utilizado por más de 2 millones de sitios web.
Es fácil de usar y viene con un generador de archivos robots.txt.
Si aún no tiene instalado el complemento AIOSEO, puede ver nuestra guía paso a paso sobre cómo instalar un complemento de WordPress.
Nota: Versión gratuita de AIOSEO también está disponible y tiene esta característica.
Una vez que el complemento está instalado y activado, puede usarlo para crear y editar su archivo robots.txt directamente desde su área de administración de WordPress.
Simplemente ve a Todo en uno SEO »Herramientas para editar su archivo robots.txt.
Primero, deberá activar la opción de edición, haciendo clic en el botón ‘Habilitar Robots.txt personalizado’ para cambiar a azul.
Con esta opción activada, puede crear un archivo robots.txt personalizado en WordPress.
All in One SEO mostrará su archivo robots.txt existente en la sección ‘Vista previa de Robots.txt’ en la parte inferior de la pantalla.
Esta versión mostrará las reglas predeterminadas que fueron agregadas por WordPress.
Estas reglas predeterminadas les dicen a los motores de búsqueda que no rastreen sus archivos principales de WordPress, permiten a los bots indexar todo el contenido y les proporciona un enlace a los mapas de sitio XML de su sitio.
Ahora, puede agregar sus propias reglas personalizadas para mejorar su robots.txt para SEO.
Para agregar una regla, ingrese un agente de usuario en el campo ‘Agente de usuario’. El uso de un * aplicará la regla a todos los agentes de usuario.
Luego, seleccione si desea ‘Permitir’ o ‘No permitir’ que los motores de búsqueda rastreen.
A continuación, ingrese el nombre del archivo o la ruta del directorio en el campo ‘Ruta del directorio’.
La regla se aplicará automáticamente a su archivo robots.txt. Para agregar otra regla, haga clic en el botón ‘Agregar regla’.
Recomendamos agregar reglas hasta que cree el formato de robots.txt ideal que compartimos anteriormente.
Sus reglas personalizadas se verán así.
Una vez que haya terminado, no olvide hacer clic en el botón ‘Guardar cambios’ para almacenar sus cambios.
Método 2. Edite el archivo Robots.txt manualmente mediante FTP
Para este método, deberá utilizar un cliente FTP para editar el archivo robots.txt.
Simplemente conéctese a su cuenta de alojamiento de WordPress utilizando un cliente FTP.
Una vez dentro, podrá ver el archivo robots.txt en la carpeta raíz de su sitio web.
Si no ve uno, es probable que no tenga un archivo robots.txt.
En ese caso, puede seguir adelante y crear uno.
Robots.txt es un archivo de texto sin formato, lo que significa que puede descargarlo a su computadora y editarlo usando cualquier editor de texto sin formato como el Bloc de notas o TextEdit.
Después de guardar los cambios, puede volver a cargarlos en la carpeta raíz de su sitio web.
¿Cómo probar su archivo Robots.txt?
Una vez que haya creado su archivo robots.txt, siempre es una buena idea probarlo con una herramienta de prueba de robots.txt.
Existen muchas herramientas de prueba de robots.txt, pero recomendamos usar la que se encuentra dentro de Google Search Console.
Primero, deberá tener su sitio web vinculado con Google Search Console. Si aún no lo ha hecho, consulte nuestra guía sobre cómo agregar su sitio de WordPress a Google Search Console.
Entonces, puede usar el Herramienta de prueba de robots de Google Search Console.
Simplemente seleccione su propiedad de la lista desplegable.
La herramienta buscará automáticamente el archivo robots.txt de su sitio web y resaltará los errores y advertencias si encuentra alguno.
Pensamientos finales
El objetivo de optimizar su archivo robots.txt es evitar que los motores de búsqueda rastreen páginas que no están disponibles públicamente. Por ejemplo, páginas en su carpeta wp-plugins o páginas en su carpeta de administración de WordPress.
Un mito común entre los expertos en SEO es que el bloqueo de categorías, etiquetas y páginas de archivo de WordPress mejorará la velocidad de rastreo y dará como resultado una indexación más rápida y clasificaciones más altas.
Esto no es verdad. También va en contra de las directrices para webmasters de Google.
Le recomendamos que siga el formato robots.txt anterior para crear un archivo robots.txt para su sitio web.
Esperamos que este artículo le haya ayudado a aprender a optimizar su archivo robots.txt de WordPress para SEO. Es posible que también desee ver nuestra guía definitiva de WordPress SEO y las mejores herramientas de WordPress SEO para hacer crecer su sitio web.
Si le gustó este artículo, suscríbase a nuestro Canal de Youtube para tutoriales en video de WordPress. También puedes encontrarnos en Gorjeo y Facebook.