Kost: Это вы считаете "по-серьёзному" ? У вас обработка одного запроса сервером сколько денег стоит?
А может быть вы последний раз читали help.yandex.ru в 2004 году и не знаете про про директиву CrawlDelay ? Поставьте хоть 3600 секунд.
Робот не следует никаким директивам, в том числе CrawlDelay, т. к. получает 301 ответ. По которому переходит и получает 200 OK уже на новом домене, где ему всё запрещено. И начинает обращаться к файлам на старом домене.
Вы путаетесь в показаниях:
Так "стоп" или "периодически обращается"?
Вы же хотите чтобы "стоп". Я вам возражаю: тогда робот никогда больше не узнает, что robots.txt изменен.
"Периодически обращается" относится к файлу /robots.txt, в котором "стоп". Значит никакие файлы с сайта больше не запрашивать.
motorhead добавил 16.09.2011 в 18:38
Нашёл огорчительный ответ:
Сессия начинается с закачки robots.txt сайта, если его нет, он не текстовый или на запрос робота возвращается HTTP-код отличный от '200', считается, что доступ роботу не ограничен.
http://help.yandex.ru/webmaster/?id=996567
По-моему, это неправильно :(
И там же для вас, оптимизаторы, разница между YandexBot и Yandex:
User-agent: YandexBot - будет использоваться только основным индексирующим роботом.
User-agent: Yandex - будет использована всеми роботами Яндекса, кроме основного индексирующего.
motorhead добавил 16.09.2011 в 20:07
И ответ службы поддержки Яндекса:
Здравствуйте!
Если робот получает http-код отличный от 200, считается, что доступ роботу не ограничен. Переход по редиректу робот не производит, а запретить индексирование страниц другого домена невозможно.
--
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/
Kost: Здрасьте. А если вы уберете robots.txt, домен больше никогда не попадет в индекс?
А зеркальщик как будет расклеивать зеркала, если вы уберете редирект?
Почему никогда? Если он периодически обращается к этому файлу - пусть хоть заддосит, но должен следовать указаниям.
Это вам лучше, извините, не сюда, а к доктору какому-нибудь.
Тогда отключите запись логов, отключите сервер от интернета в конце концов.
Kost: А вы посмотрите по ссылке, какие User-agent у разных роботов, сходите.
Disallow: Yandex
запретит их всех.
http://www.robotstxt.org/orig.html - почитайте.
Ну да, это понятно, но значит ли это, что если запретить YandexBot, то это вовсе не указание для YandexImages и прочих, например?
Kost: К сожалению, вы не обозначили подробно и полностью вашу задачу. Зачем?
Задача простая - мне не нужен этот робот в логах, чисто эстетически :) А по-серьёзному - серверу незачем обрабатывать лишние запросы.
То есть, думаю так: первое обращение, которое робот делает к сайту это файл /robots.txt. Получает ответ 301, переходит, следует директивам уже оттуда. Там запрет, значит всё - стоп! Больше не запрашивает адреса ни со старого, ни с нового доменов. Разве не логично?
Как раз оттуда я так понял, что YandexBot "основной индексирующий робот", соответсвенно, если его запретить, то и остальные тоже, поэтому и счёл его равным UA Yandex. Возможно ошибаюсь.
Kost:
Никак, он будет вечно дергать robots.txt и получать 301. А почему это для вас является проблемой? Нужно платить за старый хостинг? Сделайте старый домен алиасом новому и отключите старый хостинг.
По-моему, User-agent: Yandex и User-agent: Yandexbot это одно и то же.
semenov: Ставьте редирект со старых адресов на новые
Именно так и есть, о чём сказано в исходном сообщении выше, что домен полностью поменялся и на все запросы сервер отдаёт 301 ответ, но в логах старого хоста пишутся запросы.
Костаке: Коллеги, вычитал в сети, что титлы, кейворды и дискрипшн на каждой странице должны быть уникальны.
Так ли это ? Или же можно соченить пару или тройку шаблонов и по ним заполнять мета-поля ?
не надо ничего "вычитывать в сети", надо читать источники
Для больших сайтов, созданных на основе баз данных (например, для сайтов-агрегаторов информации о товарах), создавать индивидуальные описания "вручную" невозможно. В таком случае вполне уместно создавать описания с использованием программных средств, что мы и рекомендуем делать.
title="Вы хотите купить Дуршлаг ? Купить Дуршлаг в интернет-магазине www.ORIGIN-kitchen.com.ua можно любого типа и обьема. Наш магазин специализируется на продаже Дуршлагов и других товаров в категории товары для кухни. На все Дуршлаги и другие товары в нашем интернет-магазине распространяется..."
Кстати, Яблоко это единственная партия, которая выступает за возвращение региональных выборов?
Это вы считаете "по-серьёзному" ? У вас обработка одного запроса сервером сколько денег стоит?
А может быть вы последний раз читали help.yandex.ru в 2004 году и не знаете про про директиву CrawlDelay ? Поставьте хоть 3600 секунд.
Робот не следует никаким директивам, в том числе CrawlDelay, т. к. получает 301 ответ. По которому переходит и получает 200 OK уже на новом домене, где ему всё запрещено. И начинает обращаться к файлам на старом домене.
Так "стоп" или "периодически обращается"?
Вы же хотите чтобы "стоп". Я вам возражаю: тогда робот никогда больше не узнает, что robots.txt изменен.
"Периодически обращается" относится к файлу /robots.txt, в котором "стоп". Значит никакие файлы с сайта больше не запрашивать.
motorhead добавил 16.09.2011 в 18:38
Нашёл огорчительный ответ:
http://help.yandex.ru/webmaster/?id=996567
По-моему, это неправильно :(
И там же для вас, оптимизаторы, разница между YandexBot и Yandex:
User-agent: Yandex - будет использована всеми роботами Яндекса, кроме основного индексирующего.
motorhead добавил 16.09.2011 в 20:07
И ответ службы поддержки Яндекса:
Если робот получает http-код отличный от 200, считается, что доступ роботу не ограничен. Переход по редиректу робот не производит, а запретить индексирование страниц другого домена невозможно.
--
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/
Здрасьте. А если вы уберете robots.txt, домен больше никогда не попадет в индекс?
А зеркальщик как будет расклеивать зеркала, если вы уберете редирект?
Почему никогда? Если он периодически обращается к этому файлу - пусть хоть заддосит, но должен следовать указаниям.
Тогда отключите запись логов, отключите сервер от интернета в конце концов.
Не надо хамить 🙅
А вы посмотрите по ссылке, какие User-agent у разных роботов, сходите.
Disallow: Yandex
запретит их всех.
http://www.robotstxt.org/orig.html - почитайте.
Ну да, это понятно, но значит ли это, что если запретить YandexBot, то это вовсе не указание для YandexImages и прочих, например?
К сожалению, вы не обозначили подробно и полностью вашу задачу. Зачем?
Задача простая - мне не нужен этот робот в логах, чисто эстетически :) А по-серьёзному - серверу незачем обрабатывать лишние запросы.
То есть, думаю так: первое обращение, которое робот делает к сайту это файл /robots.txt. Получает ответ 301, переходит, следует директивам уже оттуда. Там запрет, значит всё - стоп! Больше не запрашивает адреса ни со старого, ни с нового доменов. Разве не логично?
http://help.yandex.ru/webmaster/?id=995329 - Yandexbot - это только один из множества ботов.
Как раз оттуда я так понял, что YandexBot "основной индексирующий робот", соответсвенно, если его запретить, то и остальные тоже, поэтому и счёл его равным UA Yandex. Возможно ошибаюсь.
Никак, он будет вечно дергать robots.txt и получать 301.
А почему это для вас является проблемой? Нужно платить за старый хостинг? Сделайте старый домен алиасом новому и отключите старый хостинг.
Ды проблемы то нет, скорее желание разобраться :)
Наберите http://yandex.ru/
А роботс существует http://yandex.ru/robots.txt
Сравните с http://www.yandex.ru/robots.txt
Два разных хоста, и никакого 301 редиректа. Я же говорю о двух разных доменах.
AnNik, не вариант, потому что по логике вещей сайта не существует вообще, т. е. нет там больше никаких файлов и точка.
По-моему, User-agent: Yandex и User-agent: Yandexbot это одно и то же.
Ставьте редирект со старых адресов на новые
Именно так и есть, о чём сказано в исходном сообщении выше, что домен полностью поменялся и на все запросы сервер отдаёт 301 ответ, но в логах старого хоста пишутся запросы.
так, спокуха... даю ссылку http://www.google.com/
сервис ничем не хуже яндекса
Коллеги, вычитал в сети, что титлы, кейворды и дискрипшн на каждой странице должны быть уникальны.
Так ли это ? Или же можно соченить пару или тройку шаблонов и по ним заполнять мета-поля ?
не надо ничего "вычитывать в сети", надо читать источники
http://www.google.com/support/webmasters/bin/answer.py?answer=35624&hlrm=ru
Где подвох? Или же поисковый текст с большой частотой-тошнотой КС и есть путь к столь желаемому ТОП-3
ну да, у него на каждой внутренней странице
сайт у тебя хороший, prestashop правильный движок :)
наращивай ссылки, с локальных сайтов тем более
добавься сюда http://sprav.yandex.ru/org/add/ и сюда http://www.google.com/local/add/
и убери в ссылках эти бесконечные
это ж спам чистой воды :)