robots.txt

Bloquer l’archivage de son site sous web.archive.org

Publié le 14 février 2012 - Outils Webmasters.

Pour différentes raisons (contenu protégé, image de marque, etc.) vous pouvez avoir envie de refuser l’indexation de votre site dans la mémoire vivante du web, le célébrissime web.archive.org. Sachez donc que ceci est possible,  il vous suffit pour cela d’ajouter les lignes suivant dans votre fichier robots.txt : User-agent: ia_archiver Disallow: / Ce code rend la consultation des archives de votre site inaccessibles, et affiche à la place le message d’erreur suivant : « Page cannot be crawled or displayed due to robots.txt ». Cette technique agit de façon rétroactive, c’est à dire qu’elle n’empêche pas simplement les futurs archivages, mais bloque […]