Bloquear el acceso de los buscadores a una web

Bloquear el acceso con robots.txtSupongamos que estamos desarrollando un sitio web, y en lugar de hacerlo en local, queremos realizar las pruebas pertinentes en Internet. En estos casos lo mejor es indicarle a los buscadores que no indexen nuestro sitio. Para esto nada mas fácil que indicarlo en el fichero robots.txt

El fichero robots.txt debe estar en el directorio raiz de nuestro servidor y debemos indicar a que buscador queremos bloquear y que directorios.

Si por ejemplo queremos limitar el acceso de todos los buscadores a todo el sitio indicaremos:

User-agent: * 
Disallow: /

O bien si queremos indicar un directorio concreto indicaremos:

Disallow: /mi_directorio/

Esta técnica se ha venido utilizando para bloquear el acceso a páginas de administración o de configuración de numerosos sitios web por parte de los buscadores. Pero ha surgido una nueva generación de robots “malos”, que se encargan de rastrear estos ficheros en busca de directorios ocultos para atacarlos.

Por lo tanto recomendamos utilizar esta técnica para evitar el indexado, y para proteger directorios con información sensible, mejor utilizar otra técnica como la protección por contraseña.

Facebooktwittergoogle_plus