Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 08.10.2013, 11:08   #21
Iggo
Аспирант
 
Регистрация: 04.06.2010
Адрес: Город 3-4 революций
Сообщений: 102
Репутация: 33123

ТопикСтартер Re: BingBot получает ошибку 404 при существующей странице

Цитата:
Сообщение от ivan-lev Посмотреть сообщение
Не увидел REQUEST_URI .. К чему запрос происходит?
p.s. А зачем в конце делать редирект на index.php вместо внутреннего реврайта и возврата 404 после обработки, если страницы не существует?
ivan-lev, попробую кратко сформулировать суть вопроса без предыдущего обсуждения
BingBot периодически "направляется" Апачем в дефолтную директорию. При этом для страницы, которую он запрашивает, существует и поддомен и сама страница. Более того, в большинстве случаев тот же BingBot получает запрашиваемые страницы.
__________________
Всё, что не убивает, делает Вас сильнее (c) Платон Щукин
Iggo вне форума   Ответить с цитированием

Реклама
Старый 08.10.2013, 11:23   #22
ivan-lev
Академик
 
Регистрация: 20.04.2007
Сообщений: 4,699
Репутация: 987700

По умолчанию Re: BingBot получает ошибку 404 при существующей странице

Цитата:
Сообщение от Iggo Посмотреть сообщение
Для www.reg1.site.ru четко прописана секция в httpd.conf, но понятно, что он туда не попадает.
А можно эту секцию увидеть?
В смысле, поддомен www для поддомена reg1 точно прописан?
Если ручками зайти на www.reg1 - что выведет? А то в примерах Ваших поддомен третьего уровня, а у bing-а - четвёртого..
Цитата:
Host: zzz.site.ru
__________________
... :)
ivan-lev вне форума   Ответить с цитированием
Сказали спасибо:
Старый 08.10.2013, 13:42   #23
Iggo
Аспирант
 
Регистрация: 04.06.2010
Адрес: Город 3-4 революций
Сообщений: 102
Репутация: 33123

ТопикСтартер Re: BingBot получает ошибку 404 при существующей странице

Цитата:
Сообщение от ivan-lev Посмотреть сообщение
А можно эту секцию увидеть?
В смысле, поддомен www для поддомена reg1 точно прописан?
Если ручками зайти на www.reg1 - что выведет? А то в примерах Ваших поддомен третьего уровня, а у bing-а - четвёртого..
Вот кусок:
<VirtualHost reg1.site.ru>
ServerAdmin admin@site.ru
DocumentRoot c:/www/allregion
ServerName reg1.site.ru
ErrorLog logs/localhost_error.log
CustomLog logs/localhost_access.log combined
ErrorDocument 404 /404.php
</VirtualHost>
<VirtualHost www.reg1.site.ru>
ServerAdmin admin@site.ru
DocumentRoot c:/www/allregion
ServerName www.reg1.site.ru
ErrorLog logs/localhost_error.log
CustomLog logs/localhost_access.log combined
ErrorDocument 404 /404.php
</VirtualHost>

В логах localhost_access.log вижу как удачные заходы на страницы reg1 (код 200), так и "неудачные" (код 404 или свеже прописанный код 301) от одного и того же бота BingBot
Понятно, что вопрос в неправильной реакции Апача - вопрос в том, где именно сбоит...
Раньше грешил на то, что BingBot пробивает сервер "корявыми" заголовками намеренно - сейчас думаю, что это вряд ли, т.к. ошибки зафиксированы в вебмастере бинга...
Iggo вне форума   Ответить с цитированием
Старый 08.10.2013, 14:06   #24
ivan-lev
Академик
 
Регистрация: 20.04.2007
Сообщений: 4,699
Репутация: 987700

По умолчанию Re: BingBot получает ошибку 404 при существующей странице

Пишите в лог (перед 404/301) var_dump($_SERVER); var_dump($_GET); для "непонятных" ситуаций. Посмотрим, что там.
С поддоменами www.reg3 и www.reg4 такая же ситуация? Вроде они получали 404.. а с reg1 всё работало?
p.s. ИМХО, уместно использовать ServerAlias
ivan-lev вне форума   Ответить с цитированием
Старый 08.10.2013, 14:11   #25
Iggo
Аспирант
 
Регистрация: 04.06.2010
Адрес: Город 3-4 революций
Сообщений: 102
Репутация: 33123

ТопикСтартер Re: BingBot получает ошибку 404 при существующей странице

Недоделанное мучит...
Поставил на некоторое время логирование заголовков от "удачно отработанных" запросов и вот первые результаты!!!

1. В ошибках:
--- 2013-10-04 01:24:58
Cache-Control: no-cache
Connection: Keep-Alive
Pragma: no-cache
Accept: */*
Accept-Encoding:
From: bingbot(at)microsoft.com
Host: www.reg1.site.ru
User-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

2. Без ошибок:
--- 2013-10-08 14:48:56
Cache-Control: no-cache
Connection: Keep-Alive
Pragma: no-cache
Accept: */*
Accept-Encoding: gzip, deflate
From: bingbot(at)microsoft.com
Host: www.reg1.site.ru
User-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)


Как видно - ошибочно разбирается запрос с пустым значением Accept-Encoding. Сходу не скажете - встречаться доводилось?

---------- Добавлено 08.10.2013 в 15:38 ----------

Цитата:
Сообщение от ivan-lev Посмотреть сообщение
Пишите в лог (перед 404/301) var_dump($_SERVER); var_dump($_GET); для "непонятных" ситуаций. Посмотрим, что там.
С поддоменами www.reg3 и www.reg4 такая же ситуация? Вроде они получали 404.. а с reg1 всё работало?
p.s. ИМХО, уместно использовать ServerAlias
ivan-lev, такая ситуация со всеми существующими поддоменами reg1, reg2, ... regN

В
ыше написал о Accept-Encoding.

Последний раз редактировалось Iggo; 08.10.2013 в 14:39..
Iggo вне форума   Ответить с цитированием
Старый 08.10.2013, 21:19   #26
Iggo
Аспирант
 
Регистрация: 04.06.2010
Адрес: Город 3-4 революций
Сообщений: 102
Репутация: 33123

ТопикСтартер Re: BingBot получает ошибку 404 при существующей странице

ivan-lev, вот нашел на просторах рекомендацию по обработке gzip в conf:

# ----------------------------------------------------------------------
# Gzip сжатие
# ----------------------------------------------------------------------
<IfModule mod_deflate.c>
# Включаем deflate для не стандартных заголовков:
# http://developer.yahoo.com/blogs/ydn...yond-gzipping/
<IfModule mod_setenvif.c>
<IfModule mod_headers.c>
SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
</IfModule>
</IfModule>
<IfModule mod_filter.c>
AddOutputFilterByType DEFLATE text/html text/plain text/css \
application/json text/javascript application/javascript application/x-javascript text/x-js text/ecmascript application/ecmascript text/vbscript text/fluffscript \
text/xml application/xml text/x-component \
application/xhtml+xml application/rss+xml application/atom+xml \
image/x-icon image/svg+xml application/vnd.ms-fontobject application/x-font-ttf font/opentype
</IfModule>
</IfModule>


Что думаете - поможет?
Iggo вне форума   Ответить с цитированием
Старый 09.10.2013, 14:23   #27
Iggo
Аспирант
 
Регистрация: 04.06.2010
Адрес: Город 3-4 революций
Сообщений: 102
Репутация: 33123

ТопикСтартер Re: BingBot получает ошибку 404 при существующей странице

ivan-lev, вот нашел на просторах рекомендацию по обработке gzip в conf:

# ----------------------------------------------------------------------
# Gzip сжатие
# ----------------------------------------------------------------------
<IfModule mod_deflate.c>
# Включаем deflate для не стандартных заголовков:
# http://developer.yahoo.com/blogs/ydn...yond-gzipping/
<IfModule mod_setenvif.c>
<IfModule mod_headers.c>
SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
</IfModule>
</IfModule>
<IfModule mod_filter.c>
AddOutputFilterByType DEFLATE text/html text/plain text/css \
application/json text/javascript application/javascript application/x-javascript text/x-js text/ecmascript application/ecmascript text/vbscript text/fluffscript \
text/xml application/xml text/x-component \
application/xhtml+xml application/rss+xml application/atom+xml \
image/x-icon image/svg+xml application/vnd.ms-fontobject application/x-font-ttf font/opentype
</IfModule>
</IfModule>


Что думаете - поможет?
Iggo вне форума   Ответить с цитированием
Старый 11.10.2013, 21:45   #28
ivan-lev
Академик
 
Регистрация: 20.04.2007
Сообщений: 4,699
Репутация: 987700

По умолчанию Re: BingBot получает ошибку 404 при существующей странице

Цитата:
Сообщение от Iggo Посмотреть сообщение
Что думаете - поможет?
Думаю, что не поможет.. Но проще всего поставить и проверить (если, конечно, будет работать в принципе).
ivan-lev вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны