Неееее, на информатике эту конструкцию не проходили :)
Как независимая структура вебмастер может в отместку запретить пользователям переходить на свой сайт с Яндекса. Яндекс, обезумевший от такого, завалит вебмастера кучей писем со "вкусными предложениями" :)
Все люди взрослые и должны понимать, что в мире коммерции для двух независимых игроков все должно быть обоюдовыгодно и обоюдоинтересно. Вот и стоит подумать, чем твой сайт должен стать интересен Яндексу (чем Яндекс интересен вебмастеру все понимаем).
Создалось ощущение, что месье начинающий графоман. Не нравится выдача Яндекса - да ради бога, не пользуйся. Считаешь что Гугл более адекватен - велком. Считаешь, что не существует на свете ПС, отвечающей твоим изысканным вкусам - напиши свою (пример Linux первое время будет греть твою душу). Если окажется, что много-много-много человек так же как и тебя не устраивают существующие ПС, они мгновенно станут твоими поклонниками и почитателями.
Поймите, Яндекс - коммерческая (а в нашей стране ОЧЕНЬ важно указать, что и негосударственная) структура. Единственная задача ЛЮБОЙ коммерческой структуры - зарабатывание денег (в рамках дозволенного государством). Судя по открытым источникам, Яндекс с этой своей задачей справляется на ура. Как только у него начнется отток пользователей - значит он накосячил где-то и что-то будет менять. Других побудительных мотивов в сложившейся ситуации нет.
Вы же тоже рассматриваете Инет как место заработка. И навряд ли Вам понравится, когда люди с улицы начнут даже не давать советы, а требовать от Вас исполнения чуждых с Вашей точки зрения действий. Я даже примерно знаю пару мест, куда Вы отправите советчиков. Ну может в пять-шесть, если Вы неимоверно эрудированы :)
Закругляюсь - просто примите ситуацию как данность и попытайтесь ее использовать. Это то единственное, что нам остается - пользоваться тем, что есть. Сугубо ИМХО
Так это обкатка нового алгоритма "Фортуна" :)
ivan-lev, вот нашел на просторах рекомендацию по обработке gzip в conf:
# ----------------------------------------------------------------------
# Gzip сжатие
<IfModule mod_deflate.c>
# Включаем deflate для не стандартных заголовков:
# http://developer.yahoo.com/blogs/ydn...yond-gzipping/
<IfModule mod_setenvif.c>
<IfModule mod_headers.c>
SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
</IfModule>
<IfModule mod_filter.c>
AddOutputFilterByType DEFLATE text/html text/plain text/css \
application/json text/javascript application/javascript application/x-javascript text/x-js text/ecmascript application/ecmascript text/vbscript text/fluffscript \
text/xml application/xml text/x-component \
application/xhtml+xml application/rss+xml application/atom+xml \
image/x-icon image/svg+xml application/vnd.ms-fontobject application/x-font-ttf font/opentype
Что думаете - поможет?
# http://developer.yahoo.com/blogs/ydn/posts/2010/12/pushing-beyond-gzipping/
Недоделанное мучит...
Поставил на некоторое время логирование заголовков от "удачно отработанных" запросов и вот первые результаты!!!
1. В ошибках:
--- 2013-10-04 01:24:58Cache-Control: no-cacheConnection: Keep-AlivePragma: no-cacheAccept: */*Accept-Encoding: From: bingbot(at)microsoft.comHost: www.reg1.site.ruUser-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2. Без ошибок:
--- 2013-10-08 14:48:56Cache-Control: no-cacheConnection: Keep-AlivePragma: no-cacheAccept: */*Accept-Encoding: gzip, deflateFrom: bingbot(at)microsoft.comHost: www.reg1.site.ruUser-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Как видно - ошибочно разбирается запрос с пустым значением Accept-Encoding. Сходу не скажете - встречаться доводилось?---------- Добавлено 08.10.2013 в 15:38 ----------
ivan-lev, такая ситуация со всеми существующими поддоменами reg1, reg2, ... regN
В
ыше написал о Accept-Encoding.
Вот кусок:
<VirtualHost reg1.site.ru> ServerAdmin admin@site.ru DocumentRoot c:/www/allregion ServerName reg1.site.ru ErrorLog logs/localhost_error.log CustomLog logs/localhost_access.log combined ErrorDocument 404 /404.php </VirtualHost> <VirtualHost www.reg1.site.ru> ServerAdmin admin@site.ru DocumentRoot c:/www/allregion ServerName www.reg1.site.ru ErrorLog logs/localhost_error.log CustomLog logs/localhost_access.log combined ErrorDocument 404 /404.php </VirtualHost>
В логах localhost_access.log вижу как удачные заходы на страницы reg1 (код 200), так и "неудачные" (код 404 или свеже прописанный код 301) от одного и того же бота BingBot
Понятно, что вопрос в неправильной реакции Апача - вопрос в том, где именно сбоит...
Раньше грешил на то, что BingBot пробивает сервер "корявыми" заголовками намеренно - сейчас думаю, что это вряд ли, т.к. ошибки зафиксированы в вебмастере бинга...
ivan-lev, попробую кратко сформулировать суть вопроса без предыдущего обсуждения
BingBot периодически "направляется" Апачем в дефолтную директорию. При этом для страницы, которую он запрашивает, существует и поддомен и сама страница. Более того, в большинстве случаев тот же BingBot получает запрашиваемые страницы.
Ситуация ровно та же, что и описана постом выше. Сейчас с регулярностью страничка в полчаса BingBot получает 301 редирект. На выходных специально зарегился в Webmaster Bing. По их статистике - соответственно появились записи с 301 (раньше они кучковались в 404 ошибке).
izbushka, Sanches27, уважаемые, приведенная информация хоть на что-то наталкивает?
