Я бы и рад к сеомозу отношение иметь, но увы :)
Если так, то закрытие в robots.txt не даёт гуглботу прочитать ваши noindex. Стоит убрать блокировку в robots.txt, тем более что она всё равно не помогает.
Ippi добавил 18.02.2010 в 01:31
Да, всё верно, и 404 он тоже из-за robots.txt не увидит. И 301, и всё остальное, что требует обращения к странице.
Ippi добавил 18.02.2010 в 02:06
Кстати, насчёт HTTP-статусов. Цитирую отсюда:
Так что хотя бы ради науки пропишите в htaccess части ваших страниц Redirect gone или Rewrite по маске (убедитесь чем-нибудь, что стало возвращаться 410). Блокировку в robots.txt, само собой, надо будет убрать.
Не совсем понятно написано, некие страницы одновременно закрыты и в robots.txt, и содержат noindex?
Сами гугловцы не хотят давать подробностей о диапазонах используемых ими адресов: How to verify Googlebot.
Вот тут есть поддерживаемые добровольцами списки пулов адресов различных поисковиков.
Ippi добавил 17.02.2010 в 04:09
И, кстати, Джон Мюллер сказал буквально следующее:
Так что можно и бан схлопотать. Теоретически.
Ippi добавил 17.02.2010 в 04:13
Хотя потом он немного поправился:
Ippi добавил 17.02.2010 в 04:22
Хм, из того, что он пишет в том обсуждении, неявно следует, что гуглботы могут ходить из разных стран...
Каттс говорит, что влияет. Насколько сильно — не говорит.
Ну тут тоже как бы не совсем так. С прошлого лета они взялись и за выполнение javascript'ов, правда, не знаю, насколько прилежное. По крайней мере многие должны помнить undefined линки в webmaster tools из-за window.open(this.href), а также прочие побочные эффекты вроде такого.
"Не читают" в каком смысле? В логах вижу периодическое обращение гуглбота к css-файлам (нерегулярное, в среднем примерно раз в неделю). И к js, кстати, тоже.
И вообще, то, что сегодня такие фокусы работают, не означает, что они будут работать завтра. Я бы даже сказал, что будет странно, если они продолжат работать послезавтра (масштаб времени, само собой, условный).
Ну, например, у меня есть аккаунт, заведенный с купоном в позапрошлом году (в англоязычном AdWords) и так ни разу и не использованный с тех пор. Пока не отобрали :)
Напишите им на форум, только на англоязычный. Есть небольшой шанс, что ответят или исправят.
<meta name="robots" content="NoODP">
