Кстати, Яблоко это единственная партия, которая выступает за возвращение региональных выборов?
Робот не следует никаким директивам, в том числе CrawlDelay, т. к. получает 301 ответ. По которому переходит и получает 200 OK уже на новом домене, где ему всё запрещено. И начинает обращаться к файлам на старом домене.
"Периодически обращается" относится к файлу /robots.txt, в котором "стоп". Значит никакие файлы с сайта больше не запрашивать.
motorhead добавил 16.09.2011 в 18:38
Нашёл огорчительный ответ:
По-моему, это неправильно :(
И там же для вас, оптимизаторы, разница между YandexBot и Yandex:
motorhead добавил 16.09.2011 в 20:07
И ответ службы поддержки Яндекса:
Почему никогда? Если он периодически обращается к этому файлу - пусть хоть заддосит, но должен следовать указаниям.
Не надо хамить 🙅
Ну да, это понятно, но значит ли это, что если запретить YandexBot, то это вовсе не указание для YandexImages и прочих, например?
Задача простая - мне не нужен этот робот в логах, чисто эстетически :) А по-серьёзному - серверу незачем обрабатывать лишние запросы.
То есть, думаю так: первое обращение, которое робот делает к сайту это файл /robots.txt. Получает ответ 301, переходит, следует директивам уже оттуда. Там запрет, значит всё - стоп! Больше не запрашивает адреса ни со старого, ни с нового доменов. Разве не логично?
Как раз оттуда я так понял, что YandexBot "основной индексирующий робот", соответсвенно, если его запретить, то и остальные тоже, поэтому и счёл его равным UA Yandex. Возможно ошибаюсь.
Ды проблемы то нет, скорее желание разобраться :)
Два разных хоста, и никакого 301 редиректа. Я же говорю о двух разных доменах.
AnNik, не вариант, потому что по логике вещей сайта не существует вообще, т. е. нет там больше никаких файлов и точка.
По-моему, User-agent: Yandex и User-agent: Yandexbot это одно и то же.
Именно так и есть, о чём сказано в исходном сообщении выше, что домен полностью поменялся и на все запросы сервер отдаёт 301 ответ, но в логах старого хоста пишутся запросы.
так, спокуха... даю ссылку http://www.google.com/
сервис ничем не хуже яндекса
не надо ничего "вычитывать в сети", надо читать источники
http://www.google.com/support/webmasters/bin/answer.py?answer=35624&hlrm=ru
ну да, у него на каждой внутренней странице
<title>[наименование] купить в Киеве, Харькове, Донецке, Луганске, Львове, Одессе</title>
сайт у тебя хороший, prestashop правильный движок :)
наращивай ссылки, с локальных сайтов тем более
добавься сюда http://sprav.yandex.ru/org/add/ и сюда http://www.google.com/local/add/
и убери в ссылках эти бесконечные
это ж спам чистой воды :)
