1 de noviembre de 2014

El archivo robots.txt se utiliza para impedir que los motores de búsqueda accedan e indexen ciertas partes de tu web. Por ejemplo, en Joomla, para que no accedan a los archivos del panel de control, deberíamos tener un archivo  robots.txt como el siguiente: User-agent:* Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: