Iggo

Ну вот, когда коту делать нечего - он сидит и ... кодит

Занялся 3-м вариантом

В дефолтном блоке есть .htaccess:

RewriteEngine on
Options +FollowSymlinks
RewriteBase /
RewriteCond %{REQUEST_URI} !^(.*)/index\.php.*
RewriteRule (.*) /index.php [R=301,L]

В index.php (единственный файл который выводится всегда и на который соответственно редиректится все) в конце добавил

<?php
$f=fopen("log\my.log",'a');
flock ($f,2);
$HDate=Date('Y-m-d H:i:s');
fwrite($f,"--- $HDate\n");
foreach (getallheaders() as $name => $value)
{
fwrite($f,"$name: $value\r\n");
};
fwrite($f,"\r\n");
fclose($f);
?>

Ввел несуществующий поддомен+несуществующую страницу zzz.site.ru/pageX.php, соответственно перебросило на zzz.site.ru/index.php

В my.log увидел аж три записи:

--- 2013-10-04 01:23:11
Host: zzz.site.ru
Connection: keep-alive
Cache-Control: max-age=0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
User-Agent: Mozilla/5.0 (Windows NT 6.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.76 Safari/537.36
Accept-Encoding: gzip,deflate,sdch
Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4

--- 2013-10-04 01:23:11
Host: zzz.site.ru
Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.76 Safari/537.36
Accept: */*
Referer: http://zzz.site.ru/index.php
Accept-Encoding: gzip,deflate,sdch
Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4

--- 2013-10-04 01:23:11
Host: zzz.site.ru
Connection: keep-alive
Accept: */*
User-Agent: Mozilla/5.0 (Windows NT 6.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.76 Safari/537.36
Accept-Encoding: gzip,deflate,sdch
Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4

Пока не понял, с чем связано 3 записи - м.б. установленный у меня RDS бар

Зато вот пошел BingBot:

access.log:

157.56.93.83 - - [04/Oct/2013:01:24:58 +0400] "GET /pageN.php HTTP/1.1" 301 342 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "www.reg1.site.ru" "-" "-"

А вот что этот гаденыш оставил в my.log (всего 1 запись)

--- 2013-10-04 01:24:58
Cache-Control: no-cache
Connection: Keep-Alive
Pragma: no-cache
Accept: */*
Accept-Encoding:
From: bingbot(at)microsoft.com
Host: www.reg1.site.ru
User-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Для www.reg1.site.ru четко прописана секция в httpd.conf, но понятно, что он туда не попадает.

izbushka, Sanches27, уважаемые, есть мысли?

BingaBonga - точняк: в Verify Bingbot Tool проверил IP - действительно признали своего

Если бы в Host стоял тупо наш IP - он бы попал в Default, но HOST в логе остался бы. Глянул только что логи - реденько так попадаются Host="xxx.xxx.xxx.xxx:80" в основном школьники ломятся к phpMyAdmin

Если бы с того же IP бота не проходили и корректные запросы - грешил бы на Апач.

Но ведь он паразит просит разные поддомены (версия, что просят просто IP отпадает - Host показывал бы первый дефолтовый домен)

Redirect на основной домен ставить не хочется - ибо нефиг через IP лазать!!! :)

Спасибо за направления, кое-что критичное подправил, остался уже чисто академический интерес.

Получится разобраться и победить - отпишусь!!!

---------- Добавлено 03.10.2013 в 21:50 ----------

User-agent: bingbot

User-agent: msnbot

Allow: /

Crawl-delay: 3

Спасибо за помощь, отвечаю:

1 Изменений не было около полугода (apache, php, hosts, mysql, .htaccess)

2 Редиректов не было нигде

3 ПОЖАЛУЙ ВОСПОЛЬЗУЮСЬ!!! Как понял - запись в файл значений getallheaders()

4 У поддоменов один IP. DNS не менялся, хостер тот же, сервер свой Collocation. Правда месяц назад хостер собирался менять свои маршрутизаторы, хабы или еще какое-то труднопроизносимое :)

5 Слушает только 80 порт, соответственно выдает Веб страница недоступна

6 Когда что - просит разные страницы разных поддоменов. Системы для "поломки" уловить не смог

Дефисы - это мне показалось, что так будет читабельнее и красивше:)

Crawl-delay энто здорово, но на сотне поддоменов он же эти 3 секунды для каждого брать будет.

P.S. соберусь с мыслями и воспользуюсь советом №3 - главное, чтоб этот подлец никуда не сбег. А то сейчас глянул логи - с 18:00 не появлялся. Может рабочий день у него закончился:)

Внимательно-внимательно прочитал обе ссылки плюс "вправо-влево" от них. В довесок ко всему еще раз глянул логи.

Статьи 100%-ной ясности не внесли. Туманно маячит, что у запросов от бота которые вылетели мог быть некорректно сформулирован заголовок и соответственно HTTP_HOST Апачем не вырезался (при том, что параметр Host в заголовке присутствует) - как итог ошибка 404. Бот с того же IP адреса через некоторое время передает запрос, который абсолютно корректно отрабатывается.

Посмотрел копии логов с начала года - такая ситуация пошла с середины сентября (никаких изменений последние полгода не вносилось)

На итог получается - BingBot'ом так и задумано, значит ошибка 404 есть правильно.

Братцы, развейте сомнения, скажите что я молодец, все понял правильно и наконец-то могу взять с полки пирожок :)

Так в том-то и загвоздка, что для access.log прописал формат записи с выводом Host, HTTP_HOST, SERVER_NAME:

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{Host}i\" \"%{HTTP_HOST}e\" \"%{SERVER_NAME}e\"" combined

А этот паразит в некоторых случаях где-то теряет HTTP_HOST (с Ваших слов понял, что может быть проблема в Apache)

- 157.55.32.100 - - [02/Oct/2013:18:36:08 +0400] "GET /page1.php?id=1 HTTP/1.1" 200 5122 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "www.reg1.site.ru" "www.reg1.site.ru" "www.reg1.site.ru"
- 157.55.32.100 - - [02/Oct/2013:18:36:08 +0400] "GET /page2.php?id=2 HTTP/1.1" 200 4864 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "www.reg2.site.ru" "www.reg2.site.ru" "www.reg2.site.ru"
- 157.55.32.100 - - [02/Oct/2013:18:35:53 +0400] "GET /page3.php?id=3 HTTP/1.1" 404 315 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "www.reg3.site.ru" "-" "-"
- 157.55.32.100 - - [02/Oct/2013:18:35:53 +0400] "GET /page4.php?id=4 HTTP/1.1" 404 315 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "www.reg4.site.ru" "-" "-"

Т.е. по логам - 1, 2 запись - все отработало правильно, Apache перешел в соответствующую директорию c:/www/reg - где обрабатываются все регионы

А вот 3 и 4 запись - показывают пустой HTTP_HOST, но не пустой Host www.reg3.site.ru и www.reg4.site.ru Соответственно переходят в дефолтную директорию, где и получают свою законную 404 страничку.

UseCanonicalName стоит Off.

По ходу общения с Вами, существенно сузился круг подозреваемых :)

Вопрос уже получается следующий: почему у части запросов от BingBot "теряется" HTTP_HOST, при непустом Host?

По пунктам:

1. В дефолтной директории посмотрел - упустили - нет 404 страницы - вываливается Апачевский 404 NotFound

2. Заменить исключительно с тем, чтобы правильно отработать - если бот стучится по адресу: www.reg1.site.ru/page1.php, чтобы ему соответственно выводилась страничка page1 данного региона.

Похоже объясняльщик из меня хреновый:)

Попробую еще лаконичней.

Суть: похоже BingBot периодически передает пустые HTTP_HOST (SERVER_NAME) на все имеющиеся поддомены. При этом Host в заголовке запроса не пустой.

Вопрос:

- это коряво отрабатывает Apache или BingBot преднамеренно подменяет переменную HTTP_HOST

- если это козни бота, то как правильно поступить по теории сайтостроительства:)

а. выдать страницу ошибки и 404 код

б. попытаться отредиректить, подменив пустой HTTP_HOST на известный www.reg1.site.ru

Братцы, неужели ни у кого подобного нет - не поленитесь, гляньте логи?

Точно не оно.

Для IP адреса стоит блок:

<VirtualHost 19X.XXX.XXX.XXX>

ServerAdmin bla-bla-bla

DocumentRoot c:/www/default

ServerName 19X.XXX.XXX.XXX

ErrorLog logs/localhost_error.log

CustomLog logs/localhost_access.log combined

</VirtualHost>

И тогда бы не вылезал конкретный регион

---------- Добавлено 02.10.2013 в 22:42 ----------

1. Достучаться можно до обоих, в роботсе прописан главный Host с WWW

в config:

<VirtualHost reg2.site.ru>

ServerAdmin bla-bla-bla

DocumentRoot c:/www/reg

ServerName reg2.site.ru

ErrorLog logs/localhost_error.log

CustomLog logs/localhost_access.log combined

</VirtualHost>

<VirtualHost www.reg2.site.ru>

ServerAdmin bla-bla-bla

DocumentRoot c:/www/reg

ServerName www.reg2.site.ru

ErrorLog logs/localhost_error.log

CustomLog logs/localhost_access.log combined

</VirtualHost>

2. проблема вылезает на всех поддоменах

3. UseCanonicalName Off - присутствует в явном виде, УРЛы не преобразует

4. К сожалению/счастью стоит WinServer 2003 WEB Edition, статью обязательно гляну

Т.е. HOST и HTTP_HOST должны всегда совпадать?

Тогда как получается, что запрос к идентичным страницам настолько разный:

"www.reg1.site.ru" "www.reg1.vedun.ru" "www.reg1.site.ru"

или

"www.reg1.site.ru" "-" "-"

Rewrit'ами не баловался...

Куда копать - ума не приложу...

Да, блин. Прям как в зоопарке - наша ветка вообще не спит 🤪

Только-только начал "прыгать" в баре пока что по части проектов. Какой-то затяжнооооооооой прибалтийский аааааааааапппп :)