В Yandex исчез из индексации

У меня с 10 по 12 марта последовательно исчезли два связанных между собой сайта. Оба имеют страницы с расширением .htm[l], дату выдают реальную от файлов средствами самого Apache.

Так что это похоже не те причины...

Сайты переиндексируется, в поиске с привязкой к корню появляется только первая страница сайта, но все равно ненадолго - через день-два после добавления они исчезают полностью.

Добавлю только что у владельцев ресурса проводится связь с решением отложить рекламную компанию в "Я" до следующего обновления сайта.

Менеджер с которым велась переговоры заявил что все нормально - сайты присутствуют. Видимо у них другая версия поисковика... :)

По письму в службу поддерки вернулось потверждение "не было прочитано..."

Вот такие пирожки с котятами...

Все таки проблемы с индексацией носит похоже какой то технический характер, т.к. все сайты, находящиеся на одном хостинге, исчезли из Yandex - и именно динамические страницы - остались (даже в пределах одного сайта) только статические html страницы.

Есть следующее предположение: Сложилось такое впечатление, что поисковая машина Яндекса не индексирует сайты, обслуживаемые новой версией Apache (2.0), чего не скажешь о других поисковых машинах. У апача второго несколько иной принцип обработки заголовков HTTP по сравнению с Апачем 1.3, создается впечатление, что в определенных ситуациях, скажем при обработке заголовка Location это вызывает проблему с работой машины.

Код, к примеру на PHP header("Loction: http://some.ru/test/");, будет на Апаче 1.3 и 2.0 работать по разному, при этом Яндекс поймет ответ от 1.3 и не поймет ответа от 2.0.

Может такое быть?

Напомню, что у меня исчезли все статичные страницы, остались только заглавные. Динамических нет вообще. Может исчезли именно страницы на которые не имеется ссылок с внешних ресурсов?

Опробовал на разных серверах код

    header('Location: http://www.ru/');

Ответ Apache 2.x

HTTP/1.1 302 Found

Date: Tue, 30 Mar 2004 07:00:23 GMT

Server: Apache/2.0.49 (Unix) PHP/4.3.4

X-Powered-By: PHP/4.3.4

Location: http://www.ru/

Vary: Accept-Encoding,User-Agent

Content-Length: 0

Content-Type: text/html; charset=windows-1251

Content-Language: ru

Ответ Apache 1.3.x

HTTP/1.1 302 Found

Date: Tue, 30 Mar 2004 07:06:34 GMT

Server: Apache/1.3.27 (Unix) PHP/4.3.2

X-Powered-By: PHP/4.3.2

Location: http://www.ru/

Connection: close

Transfer-Encoding: chunked

Content-Type: text/html; charset=windows-1251

Vary: accept-charset, user-agent



0

Существенной разницы в ответах серверов которые могли бы привести к неверному трактованию заголовков роботом я не вижу.

то же глюк, и вот как:

Имею на valuehoste 2 виртуальных сервера, на каждом по 6 работающих сайтов. На одном полностью все шесть слетели с яндекса и уже примерно с месяц их добавляю и добавляю, но безуспешно... Со вторым пока все в порядке... Но глюк начался месяц назад как минимум, а то и раньше, с яндекса пока не ответили...

Сайты и в статике и в динамике.. я думаю дело в хостере.

Получен ответ, что на этих сайтах - сервер выдавал некорректный ответ,

Попробовали изменить общение с роботом по протоколу HTTP/1.0 (вместо HTTP.1.1)

(это инструкция BrowserMatch "Yandex" nokeepalive downgrade-1.0 force-response-1.0)

Вроде теперь правильно отдает. Почему "вроде" - т.к. поверю в то что именно это было причиной, только после того как сайты появятся в индексации (: