Да же если на этом же сайте, то на одной страницы 100500 явно нельзя :)
Я правильно понял, на каком-то другом сайте вы хотите создать 1 страницу, на которой будет 500 ссылок на все страницы другого сайта? По крайней мере так написано...
Или вы просто хотите статику на движок поменять?
ТС, какого ответа вы ждете, если не показываете сайты. Надежда на экстрасенсов?
логично :) будут новые 24 часа.
Да, заглючила и сегодня.
Ну вот, поэтому нужно решать эту проблему. Мне непонятно почему такие страницы запрашиваются, где косяк в конфигах?
Reise добавил 24.11.2011 в 19:42
Ну почему они должны запрашиваться, если на эти страницы нету нигде ссылок. Ну а то, что они индексируются так как код 200 - это понятно. Вопрос - почему они запрашиваются.
Reise добавил 24.11.2011 в 19:47
Нет, контент с нужных сайтов - за это уже отвечает движок. Правда страницы почти пустые - тупо с менюшками и без контента.
Например на сайте 2 существует страница site2.ru/page/155/ (там много страниц)
Такая запрашивается ботами на сайте 1, на котором всего скажем 5 страниц. То есть получается GET-запрос site1.ru/page/155/ - движок (DLE) при этом отдает код 200 и генерит почти чистую страницу с менюшками и пустым местом от контента.
zexis, спасибо, попробую. Соберу стату и отпишусь.
Reise добавил 24.11.2011 в 10:17
zexis, куда надо вставить этот код, чтобы логи начали писаться в другом формате.
Пробовал прямо в nginx.conf непосредственно перед строками логов:
пробовал в конфиг хоста:
При этом оба разу пробовал и /etc/init.d/nginx reload и после того как не помогло :) /etc/init.d/nginx stop /etc/init.d/nginx start - не помогло! Лог и дальше пишется в старом формате.
Может сама конструкция неправильная, поэтому она игнорируется?
Нет нигде, это точно. Я тоже сначала думал, что где-то ссылки таки есть, вплоть до конкурентов, но когда мои многодневные поиски (вот моя старая тема, обратите внимание на дату 02.09.2011, 06:09 - с того времени проблема так и не решена, а левые страницы продолжают запрашиваться каждый день все новые и новые) таких страниц не увенчались успехом + к тому же get-запросы идут все новых и новых урл-ов от других сайтов на сервере, я понял что не туда копаю и надо искать трабл в конфигах.
Ни одной такой не нашел (хотя перелопатил более чем 2000 404-ых в ВМ), собственно наверно потому что ссылок нигде на такие страницы нет :) Но тем не менее проблема остается - такие левые страницы запрашиваются. Вывод один - что-то неправильно в конфигах.
Reise добавил 24.11.2011 в 07:34
В документации не нашел такого параметра, может не там смотрю. Хотя это лишнее, я и так четко понимаю чей там хост (там урл-ы одного из сайтов на сервере) так как сайты все мои и я знаю их структуру.
Reise добавил 24.11.2011 в 07:38
Я бы придавал этому значение. Фильтр можно запросто схватить. Подозреваю, что уже мои сайты от этого пострадали. Может если бы хотя бы сервер 404 на такие страницы отдавал, ситуация не была столь критичной. Но в том то и дело, что скрипты отдают 200, страницы генерятся, но они почти пустые - тупо с менюшками - а это уже как минимум дубли контента, которые очень нежелательны на самом деле, а как максимум - ПС такое вообще может расценить как какую-то манипуляцию по увеличению числу страниц и т.д. и т.п. со всеми вытекающими. Короче это не то чтобы плохо, это очень плохо!
Reise добавил 24.11.2011 в 07:40
Ну на счет "не обновился" - это точно нет, потому что проблема продолжается уже очень продолжительное время - пару месяцев, а вот неправильная конфигурация ДНС вполне возможна. Я не спец в этом, сделал по нагугленным мануалам, может где-то что-то неправильно.
Нет, специфика движка такова, что он отдает 200 на почти любые страницы даже на не существующие на самом деле - то есть скажем генерится пустая страница и отдается код 200.
Но не в этом вопрос. Не важно какой код отдается, важно откуда берутся эти get-запросы.
Да, конечно. В общий лог в том числе и по отдельности для каждого хоста. Да то что левые страницы запрашиваются в этом нет никаких сомнений, потому что они даже в индекс попадают в случае ответа 200.
наверное, конфиги есть в 5 прикрепленных файлах.
