Сайт недоступен

JJwar
На сайте с 16.06.2009
Offline
136
1057

Тема наверно уже поднималась, но не нашел ничего нигде.

Интересует вопрос, сколько времени ждёт яндексбот пока откажется от загрузки страницы, и определит ее как недоступна ?

Яндексбот у меня фиксирует время от времени 523 ошибку, никак не могу разобраться. Хострекер показывает что все страницы доступны, лишь изредка подвисают на 1-2 секунды.

M
На сайте с 04.03.2017
Offline
34
#1

dns случайно не cloudflare? тож такая ошибка была, грешил на хостера, а они посоветовали убрать cloudflare и реально больше ошибок таких не прилетало

100 USD на счет в DigitalOcean (http://clc.to/do100usd) при регистрации по этой ссылке
Оптимизайка
На сайте с 11.03.2012
Offline
396
#2

mrboweb, в клаудфларе надо добавлять AS13238 яндекса в белый список firewall, а то они банят их бота. Более грамотно определять яндекс-бота, как в ботгварде, они не умеют, похоже.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
SocFishing
На сайте с 26.09.2013
Offline
118
#3
JJwar:
Тема наверно уже поднималась, но не нашел ничего нигде.
Интересует вопрос, сколько времени ждёт яндексбот пока откажется от загрузки страницы, и определит ее как недоступна ?

Яндексбот у меня фиксирует время от времени 523 ошибку, никак не могу разобраться. Хострекер показывает что все страницы доступны, лишь изредка подвисают на 1-2 секунды.

попробуйте в вебмастере яндекс уменьшить кол-во загружаемых ботом страниц. А то у вас может хостинг дохлый, не выдерживает его заходы. Можно лимитировать у бота скажем 3 загрузки за раз. А не 30.

★Сервис идентифицирует (https://socfishing.com/?utm_source=searchengines) посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 8 лет.
S1
На сайте с 22.09.2011
Offline
284
#4

Можно в роботсе прописать правила для ботов, необязательно через вебмастер.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий