Уже неоднократно повторяли, что Google показывает страницы со ссылками на сайт, которые имеют PR меньше или равно 4. В вашем случае страница со ссылкой имеет PR=1, в этом весь и проблем ;-)
Если имеется в виду Яндекс, то обновление базы происходит тоже примерно два раза в месяц. Если робот будет получать 404-ю ошибку при следующих обходах сайта, то соответствующие страницы из базы рано или поздно удалятся. Насколько быстро не знаю, может уважаемые профессоры подскажут. ;-)
2 SAN
Под PR я имею в виду PageRank.
Относительно Google и вашего вопроса прочтите этот топик.
Что касается Яндекса, то Вам необходимо существенно поднять ВИЦ.
ИМХО, редирект сразу на первой странице может влиять отрицательно на отношение роботов.
Какого именно робота вы имеете в виду?
Робота Гугла можно "завлечь" высоким PR и частым обновлением страницы. Некоторые системы предлагают платную переиндексацию.
Предполагаю, что Яндекс ведет себя аналогично Гуглу.
Вопрос неоднократно обсуждался.
Основные поисковые системы, как российские, так и англоязычные, на этот тег не обращают внимание.
Я бы так не утверждал на вашем месте. Рекомендую перечитать совсем недавний топик
Именно в Яндекс, и только туда. Помнится совсем недавно Сегалович просил указать ссылки на автоматические сабмитеры, использующие их сервис. :D
2 Professor Я бы так не рисковал.
Приведите пример, пожалуйста, если это касается определенного запроса, так как я никакой пропажи не наблюдаю, ни .ua, ни com.ua.
В данном случае я не имел в виду какого-либо робота Яндекса, а просто привел пример программы, нарушающей в своей работе Robots Exclusion Standard, что имеет некоторое отношение к данной теме. Если неправ, прошу прощение за оффтопик.
Программа wget, которая используется в юникс-системах для скачивания информации, имеет опцию рекурсивного скачивания. При этом она обрабатывет файл robots.txt после выгрузки индексного файла и составления списка загрузки, о чем явно написано в руководстве. Интересно как ведет себя в аналогичном случае Teleport под Windows?
