Форум Сайтостроение Веб-строительство

Как скрыть данные с robots.txt от WayBackMachine?

[Удален]
955
The archiving for Internet Archive Wayback Machine is accomplished by the Alexa webcrawler. Use of robots.txt is entirely voluntary and many webcrawlers do not utilize it, although the Alexa webcrawler is programmed to obey the robots.txt instructions, and in fact is constructed so as to block, retroactively, files in existence before the instructions were inserted.

Можно ли сделать так, чтобы он не видел определенную картинку на каждой моей страничке? Чтобы WayBackMachine видел и кушал хорошо все, вроме одной фотки, которую я не хочу, чтобы он хранил в своем архиве в http://web.archive.org/web.

Shtogrin
На сайте с 02.11.2006
Offline
95
Shtogrin
#1

Не совсем понял заголовок темы, что вы хотите закрывать. Робот ia_archiver вроде честный

User-agent: ia_archiver

Disallow: /path_to_image

www.shtogrin.com (http://www.shtogrin.com/). Канцтовары (http://www.invit.com.ua/). 1С Бухгалтерия (http://account.kiev.ua/).
[Удален]
#2
I used to see crawl3x bots from alexa.com with UA="ia_archiver".

A few minutes ago, crawl23-public.alexa.com (IP address logged too, resolves both ways) visited my site with an UA identification of "\x90O=\x99h\xaf\xe1w\x10".

На http://www.webmasterworld.com/forum11/2936.htm нашел, что он называется не только "ia_archiver", поэтому и спрашиваю. Можно ли сделать, чтобы он точно не прихватил фотку - одну фотку на всех страницах сайта?!

Shtogrin
На сайте с 02.11.2006
Offline
95
Shtogrin
#3
gasyoun:
На http://www.webmasterworld.com/forum11/2936.htm нашел, что он называется не только "ia_archiver", поэтому и спрашиваю. Можно ли сделать, чтобы он точно не прихватил фотку - одну фотку на всех страницах сайта?!

Вы уверены что это массовое явление? Кто-то в 2005 году что-то написал в форуме.

[Удален]
#4

Я не в чем не уверен. Еще читал, что он лезет на сайт еще месяц после введения запрета лезть туда, а этого мне тоже не надо. Как сделать так, чтобы сегодня он перестал фидеть один <img> - даже не фотка, а логотип один.

User-agent: ia_archiver

Disallow: /http://img.searchengines.ru/forum/customavatars/avatar23621_4.gif

И он, например, не увидит и никогда не занесет в архив Вашу аватару?

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Shtogrin
На сайте с 02.11.2006
Offline
95
Shtogrin
#5

На сайт он будет лезть постоянно, но первое что он запрашивает - это robots.txt, по крайней мере у меня на всех сайта так. Обновить что-то за день в таких огромных системах невозможно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий