- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
С полмесяца назад перевел сайта на хостинг от Hetzner. И все вроде бы хорошо и всем доволен, но вот заметил что стали выпадать из Яши страницы. Причина 403-я ошибка.
Сам их открываю - все отлично.
Есть ли способ определить возможные причины такого? Какие логи на предмет этого смотреть?
Может быть, яндекс наваливается на сайт несколькими параллельными запросами, и он не выдерживает нагрузки?
Не думаю, что Яндекс так сильно наваливается, но изучение error-log-ов от nginx и apache должно несколько прояснить ситуацию.
Видимо web-сервер выдаёт 403-ю ошибку. Возможно это какой-то модуль, который типа защищает от ДДОС.
Видимо web-сервер выдаёт 403-ю ошибку. Возможно это какой-то модуль, который типа защищает от ДДОС.
История повторилась, куда рыть, куда копать?
Вот лог по одному из сайтов:
95.108.244.253 - - [12/Oct/2011:23:19:49 +0200] "GET /catalog/item/1309077_sumka-dlya-fotokameri-etsumi-e-3404.html HTTP/1.1" 403 548 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
95.108.158.233 - - [12/Oct/2011:00:17:52 +0200] "GET /robots.txt HTTP/1.1" 403 536 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
95.108.158.233 - - [12/Oct/2011:00:21:25 +0200] "GET /upload_files/catalog/_thb_34_2.jpg HTTP/1.1" 200 6103 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
195.239.178.205 - - [12/Oct/2011:00:24:38 +0200] "GET / HTTP/1.0" 302 266 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
195.239.178.205 - - [12/Oct/2011:00:24:39 +0200] "GET / HTTP/1.0" 200 16902 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
95.108.158.233 - - [12/Oct/2011:00:24:49 +0200] "GET /upload_files/catalog/153_1.jpg HTTP/1.1" 403 556 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
Движок тут не причем. Как видно даже на robots.txt отдало 403-ю. Nginx не стоит.
Панель ISP Pro. Никаких особых настроек.
Можно посмотреть на сайт глазами Яндекса - http://webmaster.yandex.ru/server-response.xml (Требуется регистрация)
История повторилась, куда рыть, куда копать?
Смотрите установленные модули, настройки и т.п.
Просто запросом robots.txt - он открывается?
Можно посмотреть на сайт глазами Яндекса - http://webmaster.yandex.ru/server-response.xml (Требуется регистрация)
там все отлично...
Смотрите установленные модули, настройки и т.п.
Просто запросом robots.txt - он открывается?
Да открывается. И вон через сервис выше все отлично, но в логах идут 403-ие, и в вебмастерс исключенные страницы за 403-ю.
Скорее всего на вер-сервере закрыт доступ для IP яндексовых. Вот и выдает ошибку.
Так я не закрывал ничего? Так ведь и проверка через сервис Яндекса проходит, ответ 200 идет.
Могу только сказать, что раз в логах вы видите 403, то слово Hetzner из топика можно выкинуть :)
Ой, или у вас именно хостинг?