Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Не индексирует Я, логи не совсем проясняют дело

allexx
На сайте с 09.06.2003
Offline
95
allexx
423

Ситуация такая: Яндекс отказывается есть сайт - заходит инексатор, запрашивает вот такое:

<b>2004-08-30 12:27:46 yandex_ip - site_ip GET /cgi-bin/get.cgi 404;http://www.site.ru/robots.txt 200 Yandex/1.01.001+(compatible;+Win16;+I)</b>

и уходит.... и так в течение 2-х месяцев, всегда одна и та же последовательность.

Непонятно вот в этом месте: /cgi-bin/get.cgi 404;http://www.site.ru/robots.txt 200

Он запрашивает 2 урла сразу???

И еще парадокс - проверяю /cgi-bin/get.cgi 404 - сервер отдает 200 OK...

Кто-нибудь сталкивался с таким???

SEO Promotion Team (http://www.seo-promotion.ru)
S
На сайте с 30.04.2004
Offline
6
smit
#1

А можно взглянуть на оригинальные лог-записи (не моджифицированные Вами) и узнать тип вэб-сервера, их создавших? Есть кое-какие мысли, но пока не буду делиться...;)

loud sound of space...
allexx
На сайте с 09.06.2003
Offline
95
allexx
#2

без проблем - в личке :)

сервер - Microsoft-IIS/5.0

allexx
На сайте с 09.06.2003
Offline
95
allexx
#3

опять ворошу старое, тк проблема так и не решилась....

суть проблемы найдена (скорее всего) - для перехода на псевдостатику на сервере Micrisoft IIS использовалась обработка 404-й ошибки, т.е. при запросе www.site.ru робота перенаправляли на /cgi-bin/get.cgi с параметрами 404 и запрашиваемым адресом (www.site.ru/cgi-bin/get.cgi?404;www.site.ru), скрипт обрабатывал и отдавал содержимое главной страницы, но робот Яндекса есть отказывался...

Единственный вариант решения, который вижу я - отказаться от псевдостатики и не обрабатывать 404-ю ошибку.

Может быть есть еще какие-то???

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий