GET-запросы урл-ов соседнего сайта на сервере, помогите разобраться

А вы в логах можете поставить чтобы Host из хттп заголовка тоже логировался? Если будет писать site1.ru для приведенных линков то sitemap проверить, беклинки.

Если у вас оба сайта на одном IP сидят то днс ни при чем

наверно можно, но я и так точно знаю, что это урл-ы другого хоста. На сервере все мои сайты и я четко знаю их структуру. Между собой они никак не перелинкованы.

конечно. В сайтмепе все правильно и у каждого хоста свой сайтмеп, беков на эти страницы нет.

Сайты на разных IP.

А логи разных сайтов точно пишутся в разные файлы? Что то конфиги не вижу в посте (м.б. из за того что с телефона)

Да, конечно. В общий лог в том числе и по отдельности для каждого хоста. Да то что левые страницы запрашиваются в этом нет никаких сомнений, потому что они даже в индекс попадают в случае ответа 200.

наверное, конфиги есть в 5 прикрепленных файлах.

Если ответ на запрос - 200 значит страничка валидна и существует, значит все в порядке

Нет, специфика движка такова, что он отдает 200 на почти любые страницы даже на не существующие на самом деле - то есть скажем генерится пустая страница и отдается код 200.

Но не в этом вопрос. Не важно какой код отдается, важно откуда берутся эти get-запросы.

Тогда, для начала, нужно удостовериться что ссылок с внутренних страниц нигде нет. Для этого в панели вебмастера в разделе "Ошибки сканирования" найдите хотя бы одну страницу в с кодом 404, там будет "Имеется ссылка с". Дальше проверяйте странички.

Добавить в формат лога поле $host было бы полезно для изучения этой проблемы.

Тоже как то видел такое в логах, но не придал этому значения и особо не разбирался.

Может причина в том что у какого то клиента не обновился ДНС и клиент шлет запросы к сайту по не верному IP адресу?

Нет нигде, это точно. Я тоже сначала думал, что где-то ссылки таки есть, вплоть до конкурентов, но когда мои многодневные поиски (вот моя старая тема, обратите внимание на дату 02.09.2011, 06:09 - с того времени проблема так и не решена, а левые страницы продолжают запрашиваться каждый день все новые и новые) таких страниц не увенчались успехом + к тому же get-запросы идут все новых и новых урл-ов от других сайтов на сервере, я понял что не туда копаю и надо искать трабл в конфигах.

Ни одной такой не нашел (хотя перелопатил более чем 2000 404-ых в ВМ), собственно наверно потому что ссылок нигде на такие страницы нет :) Но тем не менее проблема остается - такие левые страницы запрашиваются. Вывод один - что-то неправильно в конфигах.

Reise добавил 24.11.2011 в 07:34

В документации не нашел такого параметра, может не там смотрю. Хотя это лишнее, я и так четко понимаю чей там хост (там урл-ы одного из сайтов на сервере) так как сайты все мои и я знаю их структуру.

Reise добавил 24.11.2011 в 07:38

Я бы придавал этому значение. Фильтр можно запросто схватить. Подозреваю, что уже мои сайты от этого пострадали. Может если бы хотя бы сервер 404 на такие страницы отдавал, ситуация не была столь критичной. Но в том то и дело, что скрипты отдают 200, страницы генерятся, но они почти пустые - тупо с менюшками - а это уже как минимум дубли контента, которые очень нежелательны на самом деле, а как максимум - ПС такое вообще может расценить как какую-то манипуляцию по увеличению числу страниц и т.д. и т.п. со всеми вытекающими. Короче это не то чтобы плохо, это очень плохо!

Reise добавил 24.11.2011 в 07:40

Ну на счет "не обновился" - это точно нет, потому что проблема продолжается уже очень продолжительное время - пару месяцев, а вот неправильная конфигурация ДНС вполне возможна. Я не спец в этом, сделал по нагугленным мануалам, может где-то что-то неправильно.

рекомендую добавить поля $host , $server_addr и $server_name в логи и посмотреть их значение у проблемных строк.

log_format  mainh  '$remote_addr - $remote_user [$time_local] "$request" '

          '$status $body_bytes_sent "$http_referer" '

          '"$http_user_agent" $host $server_addr $server_name';

Описание доступных переменных в самом низу

http://nginx.org/ru/docs/http/ngx_http_core_module.html