Гм. Я так понял, это в англоязычной версии запрещено. А русскоязычной (коя с www.lycos.ru) доступно вроде бы и не запрещено. Или это таки разные каталоги?
Та же самая хрень! Пасется каждый день, напрягает входящим траффиком, результат - голимый 0. Причем, я проверял (по запросам, которые должны непременно приводить ко мне) - она вообще меня не знает! Уже подумываю, не забанить ли ее user agent :-(
А кстати, вопрос в догонку про LP на Гугле: будет ли считаться ссылка типа http://www.aaa.bb/ccc.htm ссылкой на сайт www.aaa.bb с точки зрения индексации корня этого сайта?
А на что гугль может так обидеться что забанит (у меня ощущение что именно забанил)? Типичный контент-сайт без всяких выкрутасов и применения запрещенных приемов, на 2 языках - русском и английском. Причем, ничего не менял за последнее время...Может быть в двуязычии и собака порылась - вроде бы гугль русскоязычный появился, не с регионализацией ли это связано? Типа, непонятно к какой категории ресурсов отнести. А еще мысль - может быть, он не показывает в индексе сайт при запросе с того же домена? Надо проксятник анонимный попробовать...
Во, блин, посмотрел повнимательней на httpd.conf и все сам усек ;-) Отсюда мораль: читайте доки, они рулез ;-) А вот такой вопрос вдогонку: до вчерашней недели очень неплохо котировался на гугле. Неожиданно исчез из индекса как класс, однако гугль в тоже время пасется у меня на сайте и тянет страницы потихонечку... Собственно вопрос: я так понял, что он сейчас меня переиндексирует, но нормально ли что я из индекса в процессе оного действа выпал? Да, сайт весьма большой (более 1000 документов).
А почему тогда у меня в логе Апача этого нет?
Либо вид лога настраивается?
