а его не было дольше чем логи на сервере живут, ну и не подвернулись...
но нормально он проходил где в середине июня... если это важно подниму дома архив и приведу выдержки...
Другое интерестно... то что сайт отсутсвует не мешает индексеру картинок исправно проходить по сайту (с кодом 304), видимо по своей базе работает... :)
у меня аналогичная ситуация, и в логах все чисто
213.180.216.233 - - [08/Jul/2004:20:18:10 +0400] "GET / HTTP/1.1" 200 22379 "-" "Yandex/1.01.001 (compatible; Win16; H)"
213.180.216.233 - - [08/Jul/2004:20:18:10 +0400] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; H)"
213.180.216.233 - - [08/Jul/2004:20:18:11 +0400] "GET /page1.htm HTTP/1.1" 200 27675 "-" "Yandex/1.01.001 (compatible; Win16; H)"
213.180.216.233 - - [08/Jul/2004:20:18:11 +0400] "GET /page2.htm HTTP/1.1" 200 18202 "-" "Yandex/1.01.001 (compatible; Win16; H)"
213.180.216.233 - - [08/Jul/2004:20:18:11 +0400] "GET /page3.htm HTTP/1.1" 200 24260 "-" "Yandex/1.01.001 (compatible; Win16; H)"
213.180.216.233 - - [08/Jul/2004:20:18:11 +0400] "GET /page4.htm HTTP/1.1" 200 40669 "-" "Yandex/1.01.001 (compatible; Win16; H)"
213.180.216.233 - - [08/Jul/2004:20:18:11 +0400] "GET /index.htm HTTP/1.1" 200 22379 "-" "Yandex/1.01.001 (compatible; Win16; H)"
...
213.180.216.253 - - [23/Jul/2004:16:45:39 +0400] "GET / HTTP/1.1" 200 22379 "-" "Yandex/1.03.003 (compatible; Win16; D)"
тут даже нельзя предположить какую нибудь проблему маршрутизации между сетями ибо АддУрл работает как надо... Впрочем и ей сегодня приглючилось, прикинулась дурочкой и вместо результатов добавления показывала себя же, пустую...
выдавайте в заголовках этих страниц
<META NAME="ROBOTS" CONTENT="NOINDEX">
и все у вас должно получиться...
см. также http://www.yandex.ru/info/webmaster2.html
Нет Илья, не так...
На моей памяти это уже третий случай когда "внезапные", "случайные" и "необъяснимые" выпадания сайтов находился по времени очень близко с работой менеджеров Яндекса с владельцами сайта.
Очень похоже что "Я" перешел на работу по принципу "или пан или пропал", либо пора отбивать потра деньги любыми методами либо закрывать эту лавочку.
В пользу этого говорит "весьма лаконичный ответ одного нашего специалиста" (цитата)
> Пусть сделают нормальные (можно пустые) robots.txt, корректно отвечающие Яндексу.
При этом пустой robots.txt был в наличии достаточно давно. т.е. его наличие "специалист" даже не удосужился проверить. Что, кстати, не мешало "Я" индексировать сайты до 8 июля в полном объеме да и остальные системы индексируют как то без проблем.
Так что платить, платить и платить, а бесплатное индексирование... Похоже в Яндексе оно отмирает потихоньку...
Напомню, что у меня исчезли все статичные страницы, остались только заглавные. Динамических нет вообще. Может исчезли именно страницы на которые не имеется ссылок с внешних ресурсов?
Опробовал на разных серверах код
header('Location: http://www.ru/');
Ответ Apache 2.x
HTTP/1.1 302 Found Date: Tue, 30 Mar 2004 07:00:23 GMT Server: Apache/2.0.49 (Unix) PHP/4.3.4 X-Powered-By: PHP/4.3.4 Location: http://www.ru/ Vary: Accept-Encoding,User-Agent Content-Length: 0 Content-Type: text/html; charset=windows-1251 Content-Language: ru
Ответ Apache 1.3.x
HTTP/1.1 302 Found Date: Tue, 30 Mar 2004 07:06:34 GMT Server: Apache/1.3.27 (Unix) PHP/4.3.2 X-Powered-By: PHP/4.3.2 Location: http://www.ru/ Connection: close Transfer-Encoding: chunked Content-Type: text/html; charset=windows-1251 Vary: accept-charset, user-agent 0
Существенной разницы в ответах серверов которые могли бы привести к неверному трактованию заголовков роботом я не вижу.
Судя по счетчикам с 10-12 марта резко стали падать заходы с Яндекса.
Кстати мне пока не попадались в результатах документы с датой после этих чисел - в основном совсем без даты...
У меня с 10 по 12 марта последовательно исчезли два связанных между собой сайта. Оба имеют страницы с расширением .htm[l], дату выдают реальную от файлов средствами самого Apache.
Так что это похоже не те причины...
Сайты переиндексируется, в поиске с привязкой к корню появляется только первая страница сайта, но все равно ненадолго - через день-два после добавления они исчезают полностью.
Добавлю только что у владельцев ресурса проводится связь с решением отложить рекламную компанию в "Я" до следующего обновления сайта.
Менеджер с которым велась переговоры заявил что все нормально - сайты присутствуют. Видимо у них другая версия поисковика... :)
По письму в службу поддерки вернулось потверждение "не было прочитано..."
Вот такие пирожки с котятами...