Х.з., но неприятно, что оф не чешутся...
Не путайте с 503 ошибкой.
403 - ошибка авторизации.
http://en.wikipedia.org/wiki/HTTP_403
Смотрите в сторону настроек апача. .htaccess там какой-нибудь. Может какие-то урлы закрыты для яндексовских айпишников. Или ещё чего...
АдСенс это ещё один прожорливый краулер.
А в server_name именно localhost стоит или это Вы просто сайт не хотите светить?
А что локалхост на 80 порту делает?
http://sysoev.ru/nginx/docs/example.html
Вы уверены, что у Вас вообще nginx наружу слушает?
Остановите его и попробуйте открыть любую страницу.
А Вы не путаете sites-available и sites-enabled?
Посмотрите внимательно на конфиг
А что в самом-то /etc/nginx/sites-available/default ? :)
Я Вам уже посоветовал посмотреть - что в серверах.
Вы привели общую конфигурацию http.
Что у Вас в:
include /etc/nginx/conf.d/*.conf;include /etc/nginx/sites-enabled/*;
?
Например, подвисающие time_wait при высокой нагрузке. Причём, даже при нулевом keepalive.
C 1.1 вообще воркеры отваливались постепенно, порождая смешную ситуацию - вроде какбэ nginx работает, только бэкенду ничего не передаёт.
На форуме nginx вопросы на эту тему игнорятся.
На 0.7.69 всё как по маслу.
150 тыс человек, 20М+ страниц и все известные краулеры, просто живущие там и генерящие загрузку больше, чем люди :).
Причём загрузки процов почти нет. Около единички. Просто дофига коннектов и запросов.
А в серверах нет ничего, связанного с gzip?
И таки оффтоп, после полугода возни с последними ветками я откатился на 0.7.69.
Ибо имеют место быть нерешаемые глюки, начиная с 0.8.хх