LoaderRu, USER_AGENT можно подделать, причем с легкостью.
Вы уверены, что сканеры адресов вообще не отдают никакой USER_AGENT? :)
Список всяких таких ботов можно найти в и-нете, например, здесь:
http://www.bg-pro.com/?goto=badbot
Примерно такой список нужно внести в программу, иначе можно напороться на то, что защита не будет работать.
Напишите в роботс.тхт:
User-agent: Slurp
Crawl-delay: 10
вместо 10 поставьте, через сколько секунд Slurp должен брать следующую страницу с сайта. Число - любое, больше или меньше. И он перестанет досить.
См.: http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html
А такой вариант уже не прокатывает? :)
Kristina-mos, а с чего вы взяли, что это письмо от Яндекса. Обратный адрес какой?
Без разницы, хоть с досок объявлений. :)
Поставьте внешние ссылки на внутренние страницы.
@media print {} - самое лучшее решение.
Правда, может потребовать трудозатрат по частичной переверстке кода.
Сам себя цитирую.:)
Робот сегодня пошел.
XTR, проснулся. У меня после часа ночи съел примерно треть сайта.
P.S. Вру, сейчас еще раз внимательно посмотрел. Практически, весь сайт переиндексировал.
XTR, робот пошел.
