Roman77, Яндекс выкидывает урлы максимум на второй ап.
А люди часто ошибаются при написании robots.txt, обычно описаний не читают, копируют какие-то примеры, а потом удивляются.
Надо угадать адрес вашего сайта?
Вам в раздел "Работа для вебмастера".
Обычно такое бывает в разделе "для новичков". Напишут во второй строчке
Allow: /
и за ним кучу Disallow, а потом удивляются, почему их Disallow не сработали даже за месяц.
Почему? Забанили? Неплхой вариант ведь.
Может. Если вебмастеру нет необходимости ничего закрывать от индексации, robots.txt не нужен.
Что вы придумываете какой-то бред?
3-4 недели, увы, а то и больше.
SAlex, откажитесь от дурной привычки гворить от имени всех, не берите на себя слишком много.
Вот я не знаю, что "Яндекс не обращает внимание на роботс", я знаю прямо противоположное.
Клеил недавно зеркала у клиента. Клиент, не подумав, и никому не сказав, жахнул редирект с основного домена на неосновной. Заметили только через неделю, редирект убрали, но было поздно - зеркало переклеилось не туда, куда надо. Но директива Host в robots.txt была, ее не стали трогать, еще через 3 недели переклеилось обратно благодаря ей.
И вы, welhor, тоже от имени других не выступайте, не имейте такой идиотской привычки.
Вы будете удивлены, но Яндекс и Гугл строго следуют всем этим директивам.
Но вы можете написать программу, которая будет скачивать страницы, не глядя в robots.txt. И вам за это скорее всего ничего не будет, именно из-за рекомендательного характера.
Но если будете парсить выдачу Яндекса, которую не рекомендуется парсить согласно www.yandex.ru/robots.txt, то ваш IP будет блокирован на какое-то время и вы не сможете пользоваться поиском Яндекса. Может вы и про это не знали?
Нам тоже не нужна ваша пустопрожняя болтовня. Уже 9 сообщений, а адреса сайта нет. Еще одно такое сообщение и вы получите 2 очка за флуд.
Еще один веб-"мастер", который не читал help.yandex.ru.
Инструкция называется Allow:
