y lo compruebo con mis propios ojos. No puede ser, datos identificativos, económicos, etc en un documento público. Quién lo ha configurado no sabía muy bien cual era la función del archivo robots.txt. Este es un error grave, una fuga de información, de datos de nivel medio, que les puede costar una jugosa multa según la LOPD.
Cómo es un problema común; el desconocimiento de este archivo y su funcionamiento, este tipo de incidentes suelen ocurrir. El archivo robots.txt fué creado por Martin Kojster, pero no hay un estándar ni un comité que avale su definición. Todo se basa en unas buenas prácticas acordadas. Algo así como:
una nota en una puerta sin cerradura que indica; "por favor, no entrar". Los robots web buenos lo respetarán, los robots web maliciosos no la respetaran, más aún, será una invitación para el abuso.
Es importante comprender que este archivo no protege ni puede ocultar contenido ante robots o personas con fines maliciosos.
Los administradores web y desarrolladores a menudo desconocen las implicaciones de este archivo, así que lo he añadido como check a desenmascara.me para que cualquiera pueda verificar en su sitio web, o en cualquier otro, dicho archivo y comprobar si está configurado de alguna forma susceptible de mostrar datos como en este caso.
Desenmascara.me es un servicio web cuyo objetivo es concienciar sobre la seguridad de los sitios web. No hace nada que se considere 'ilegal', su funcionamiento es totalmente pasivo e inofensivo para los sitios web. Unicamente extrae todos los metadatos posibles y los interpreta.