BingBot получает ошибку 404 при существующей странице

А можно эту секцию увидеть?

В смысле, поддомен www для поддомена reg1 точно прописан?

Если ручками зайти на www.reg1 - что выведет? А то в примерах Ваших поддомен третьего уровня, а у bing-а - четвёртого..

Вот кусок:

<VirtualHost reg1.site.ru>
ServerAdmin admin@site.ru
DocumentRoot c:/www/allregion
ServerName reg1.site.ru
ErrorLog logs/localhost_error.log
CustomLog logs/localhost_access.log combined
ErrorDocument 404 /404.php
</VirtualHost>
<VirtualHost www.reg1.site.ru>
ServerAdmin admin@site.ru
DocumentRoot c:/www/allregion
ServerName www.reg1.site.ru
ErrorLog logs/localhost_error.log
CustomLog logs/localhost_access.log combined
ErrorDocument 404 /404.php
</VirtualHost>

В логах localhost_access.log вижу как удачные заходы на страницы reg1 (код 200), так и "неудачные" (код 404 или свеже прописанный код 301) от одного и того же бота BingBot

Понятно, что вопрос в неправильной реакции Апача - вопрос в том, где именно сбоит...

Раньше грешил на то, что BingBot пробивает сервер "корявыми" заголовками намеренно - сейчас думаю, что это вряд ли, т.к. ошибки зафиксированы в вебмастере бинга...

Пишите в лог (перед 404/301) var_dump($_SERVER); var_dump($_GET); для "непонятных" ситуаций. Посмотрим, что там.

С поддоменами www.reg3 и www.reg4 такая же ситуация? Вроде они получали 404.. а с reg1 всё работало?

p.s. ИМХО, уместно использовать ServerAlias

Недоделанное мучит...

Поставил на некоторое время логирование заголовков от "удачно отработанных" запросов и вот первые результаты!!!

1. В ошибках:

--- 2013-10-04 01:24:58
Cache-Control: no-cache
Connection: Keep-Alive
Pragma: no-cache
Accept: */*
Accept-Encoding:
From: bingbot(at)microsoft.com
Host: www.reg1.site.ru
User-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

2. Без ошибок:

--- 2013-10-08 14:48:56
Cache-Control: no-cache
Connection: Keep-Alive
Pragma: no-cache
Accept: */*
Accept-Encoding: gzip, deflate
From: bingbot(at)microsoft.com
Host: www.reg1.site.ru
User-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Как видно - ошибочно разбирается запрос с пустым значением Accept-Encoding. Сходу не скажете - встречаться доводилось?

---------- Добавлено 08.10.2013 в 15:38 ----------

ivan-lev, такая ситуация со всеми существующими поддоменами reg1, reg2, ... regN

В

ыше написал о Accept-Encoding.

ivan-lev, вот нашел на просторах рекомендацию по обработке gzip в conf:

# ----------------------------------------------------------------------

# Gzip сжатие

# ----------------------------------------------------------------------

<IfModule mod_deflate.c>

# Включаем deflate для не стандартных заголовков:

# http://developer.yahoo.com/blogs/ydn/posts/2010/12/pushing-beyond-gzipping/

<IfModule mod_setenvif.c>

<IfModule mod_headers.c>

SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding

RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding

</IfModule>

</IfModule>

<IfModule mod_filter.c>

AddOutputFilterByType DEFLATE text/html text/plain text/css \

application/json text/javascript application/javascript application/x-javascript text/x-js text/ecmascript application/ecmascript text/vbscript text/fluffscript \

text/xml application/xml text/x-component \

application/xhtml+xml application/rss+xml application/atom+xml \

image/x-icon image/svg+xml application/vnd.ms-fontobject application/x-font-ttf font/opentype

</IfModule>

</IfModule>

Что думаете - поможет?

ivan-lev, вот нашел на просторах рекомендацию по обработке gzip в conf:

# ----------------------------------------------------------------------

# Gzip сжатие

# ----------------------------------------------------------------------

<IfModule mod_deflate.c>

# Включаем deflate для не стандартных заголовков:

# http://developer.yahoo.com/blogs/ydn...yond-gzipping/

<IfModule mod_setenvif.c>

<IfModule mod_headers.c>

SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding

RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding

</IfModule>

</IfModule>

<IfModule mod_filter.c>

AddOutputFilterByType DEFLATE text/html text/plain text/css \

application/json text/javascript application/javascript application/x-javascript text/x-js text/ecmascript application/ecmascript text/vbscript text/fluffscript \

text/xml application/xml text/x-component \

application/xhtml+xml application/rss+xml application/atom+xml \

image/x-icon image/svg+xml application/vnd.ms-fontobject application/x-font-ttf font/opentype

</IfModule>

</IfModule>

Что думаете - поможет?

Думаю, что не поможет.. Но проще всего поставить и проверить (если, конечно, будет работать в принципе).