Неделю назад на пять топиков ниже об этой заметке на cnews уже писали
У этих "журналистов" google toolbar - это "новый сервис" http://www.cnews.ru/news/ebusiness/2002/03/13/20020313100443.shtml
Воспроизвести не удалось. Пробовал Netscape 4.7, Mozilla 0.9.5 , набирал адрес руками - реферер пуст. А вообще у себя в логах такое видел, чтобы реферрером была страница, с которой на меня ссылки нет, но руками перейти вполне могли. В случае, который оказался под рукой, броузер был MSIE 5.0.
Посмотри повнимательнее, может у тебя линки на эти страницы так попортились.
Т.е. я должен поддержать subj и не высказывать других предположений?
А имеет ли место техническая проблема или что-то еще, могут сказать только люди из Яндекса, а остальные могут только догадываться по косвенным признакам.
P.S. Ничего против Агавы и ее бесплатных хостингов я не имею.
А может агаву и joblist за такие вещи просто забанили в Яндексе?
Вот например идем на http://tiatis.nm.ru/0002.htm - там ссылка на mail.tut.by, а на самом деле на mail.tut.ru, а там - "домен не существует" и ссылки на джоблист.
Скорее всего это относится только к массовым бесплатным хостингам, которые индексируются некоторыми поисковиками менее охотно. Например у Альтависты по мои ощущениям было ограничение на количество страниц, индексируемых на одном хостинге (а может быть как раз одном IP). Т.е. из всего сайта возьмет страницы 3-4, а дальше не пойдет, сколько ее не жди. С geocities.com проиндексировано всего 210,930 сайтов, nm.ru - 17500 сайтов, chat.ru - 4 сайта, narod.ru - 3 сайта :-). К Яндексу это видимо не относится, т.к. Илья говорил о том, что робот должен моделировать поведение пользователя, а пользователю до каких-то IP никакого дела нет.
Да, на сервере хостера. Хотя бесплатные хостинги доступа к логам обычно не предоставляют (видел только у Агамы на hut.ru и h1.ru). А у платных это должно быть, опять же, как правило.
Да ладно, 4 байта запомнить на целый сайт .
