Касательно запросов, посылаемых с http://seolab.ru/add/header.htm, то в access.log
для MSIE "HEAD / HTTP/1.0" 200 -
для Yandex "HEAD / HTTP/1.0" 500 -
В error.log ничего не зафиксировано, кроме
"File does not exists: /...../robots.txt".
Если лезет "настоящий" Яндекс, то в access.log
"GET / HTTP/1.1" 500 602.
НО!
Важный момент: Апач используется как внешний main-вебсервер, на котором крутятся сайты, но который при этом является шлюзом для внутренних веб-серверов написанных самостоятельно на Indy.
Т.е. клиент обращается по 80 порту к определенному домену, а дальше Апач может перенапрялять запросы совсем в другие сегменты сети, на другие машины и другое ПО.
Так вот "мои" веб-серверы и отдают Апачу ошибку 500 в ответ на запросы поисковиков.
Отдебагить пока не могу (надо среду разаработки ставить на сервер).
Потому пытаюсь понять, чем ЗАПРОСЫ ПОИСКОВИКОВ ОТЛИЧАЮТСЯ от ЗАПРОСОВ БРАУЗЕРА.
Насколько критично отсутствие файла robots.txt?
Спасибо за первые наметки.
Попробовал через http://yandex.ru/addurl.html
и получил классный ответ:
Адрес http://catalog.mtometeo.ru не был внесен в базу Яндекса, так как на сервере, где он расположен, возникла внутренняя ошибка (сервер возвращает ошибку 500).
Абалдеть. Сам сайт смотрится и вроде яваскриптовых ошибок не вижу (ИЕ6, Мозилла и Опера не выдают ошибок).
Это как может быть???
