Concepto de Disallow
¿Qué es Disallow?
Disallow, o rechazar por su traducción al español, es una herramienta utilizada con la finalidad de denegar a un sitio o directorio su posibilidad de acceso.
Suele vincularse con el archivo Robots.txt y es considerado como una especie de “protocolo de exclusión de robots”, el cual impide que los robots de algunos buscadores rastreen contenidos que no queremos que indexen en sus resultados. Por consiguiente, se puede asegurar que contenidos específicos no se indexarán ni posicionarán, quedando ocultos para las SERPs.
En el punto contrario encontramos el allow, que indica a un rastreador una URL a la que sí puede indexar o rastrear. Ambos contienen reglas concretas que solo se aplican a los agentes que hayamos especificado anteriormente. Por otro lado, es posible incluir varias líneas disallow a diferentes agentes de usuarios.
La forma para diseñar un Disallow All en robots.txt es por medio del User-Agent (*) y el Disallow (/). En este sentido, el primero de ellos hace que la instrucción se aplique a todos los robots, mientras que el segundo consigue bloquear el acceso a todas las páginas que pertenezcan al dominio web.
No obstante, utilizar esta técnica no nos asegura nada, puesto que el robot puede decidir si hacer caso o no, pudiendo llegar a enlazar la página o a indexarla a pesar de haberle dicho que no lo hiciera. En el caso de que te quieras asegurar un buen bloqueo de los robots, puedes utilizar los meta tag y añadir los códigos en ciertas plantillas.
Lo cierto es que el disallow guarda cierto parecido con otras estrategias como el noindex, un atributo que se utiliza en el lenguaje HTML para hacer invisibles diferentes enlaces de una web y que se emplea también para evitar que los crawlers de Google indexen en sus SERps la página que señala la etiqueta.
También tiene que ver con el archivo de texto robots.txt, que se suele conectar a un portal online para establecer unas reglas respecto al comportamiento de los robots indexadores y que, por lo general, se utiliza para impedir que estos rastreen ciertos contenidos.
¿Para qué sirve el Disallow?
El disallow servirá para todo aquel individuo o empresa que se encuentre estructurando la web de un proyecto y que quiera que el contenido que se está subiendo y el trabajo realizado no se haga visible hasta que esté completamente acabado. En ese caso prohibirá a los bots que la indexen con este tipo de código, con lo que solo se verá una vez que se habilite para el público.
También se puede utilizar cuando se quiera que solo un selecto grupo de usuarios acceda al portal o incluso cuando se prefiera seleccionar al público bajo criterios como nación, región o edad. Los motivos para hacerlo de esta manera son múltiples y muy variados, pero en cualquier caso lo ideal es siempre saber cómo usarlo correctamente.
En cualquier caso, el hecho de restringir el acceso de los bots al contenido y de prohibirle que lo indexe, al menos en principio, servirá para que la autoridad y el posicionamiento de una web no se vean afectados. ¿Por qué? Porque si las arañas de Google, por ejemplo, encontrasen entradas con una estructura pésima y un contenido irrelevante, darán por sentado que el sitio en sí mismo deja mucho que desear y que no ofrece información útil y de calidad.