По доброй воле или злому умыслу эту страницу "не для всех" может внести в индекс поисковика любой, знающий о ее существовании, да и cсылку проставить тоже.
Народ советует в таких случаях не robots.txt править, а пароль на каталог вешать - "не для всех" гарантированно выйдет и боты ходить не будут.
Если нужно для проверки логов, то известен его user-agent:
Mozilla/4.0 (compatible; MSIE 5.0; YANDEX)
и приходит он вроде с zakladki.yandex.ru
У меня слегка похоже:
дата страниц
-----------------
06.09.2004 2
05.09.2004 62
04.09.2004 72
03.09.2004 8
02.09.2004 6
31.08.2004 202
30.08.2004 7
29.08.2004 99
27.08.2004 6
26.08.2004 4
25.08.2004 5
24.08.2004 196
23.08.2004 7
20.08.2004 11
19.08.2004 238
18.08.2004 4
Очень абстрактный вопрос, поэтому извините за ответ такого же уровня - делайте тоже самое, что Вы делалали, чтобы вывести сайт на лидирующие позиции (желательно изо дня в день)
А случай когда несколько (3 шт.)доменов третьего уровня ссылаются на свой домен второго уровня тоже попадает под такое понижение?
В моем случае так:
1. 11.08 пришел Yandex/1.01.001 (compatible; Win16; I), забрал около 300 страниц.
2. Сегодня цифра Еще с сайта возле моего сайта по одному из запросов подросла на сотню.
Ничем иным, кроме как пополнением индекса, я это объснить не могу.
Индекс пополняется, бекварды увеличиваются, так что рано или поздно все изменения выстрелят. Волноваться не надо.
Интересно, а в проектах из какой области большой входящий трафик превышает исходящий? И даже в отношении 3:1 и еще будет увеличиваться?
P.S. Просто любопытно.
А какой смысл "разбираться как следует" (вычислять блоки ссылок) и "наказывать кого попало" (рандомайзом)? Может что-то другое имелось в виду.
Это как? Можно подробнее?
