Хостер блочит поискового бота, предлагая переехать на вдс

тоже возник этот же вопрос. пошел посмотреть...

https://prohoster.info/

и не нашел ничего.

ни ссылки на правила, ни какого-то внятного "о компании".

что/кто не ясно совершенно.

вот захочет тс в суд подать и на кого? в какой стране даже не ясно.

хотя правила всеж нагуглил:

https://prohoster.info/kompaniya/pravila

но на самом сайте ссылки сюда не вижу.

про блокировку там конечно же ни слова.

# cat access.log-20200618 | wc -l

1668779



# cat access.log-20200618 | grep "+http://www.bing.com/bingbot.htm" | wc -l

113249



# cat access.log-20200618 | grep "+http://yandex.com/bots" | wc -l

109748

Очень бывает очень активный. И для низкопроизводительных сайтов это бывает проблемой.

Для этого есть директива crawl-delay. Вообще, у меня он и бот мейла вообще мизерную нагрузку создают (когда сидел на впс, отслеживал это дело). А вот Яша, эт да. или там Гугол.

Хотя, если у чела серьезный сайт, то тут, само собой, нужны и ресурсы. А если полторы калеки на сайте, да пара сотен страниц, откуда нагрузка возьмется.

и кем же она в 2020 году учитывается?

Не знаю как сегодня, а 5 лет назад не было метода ограничивать бинг.

Да нормально что бинг и всяких левых ботов хостер банит, а мог бы как другие - вы превышаете нагрузку, бла бла, у вас сутки чтоб увеличить тариф или съехать на вдс...

---------- Добавлено 18.06.2020 в 16:22 ----------

Я б на месте хостера еще обязал клиентов вешать антибота на сайты :D Экономия ресурсов вышла бы раза в 3-5 как минимум.

следующий шаг - взлом сайтов клиентов и принудительная оптимизация без их ведома :)

а что, большая половина даже не подозревает о необходимости кэширующих плагинов например.

ну открывается страница мс эдак за 200 и хорошо. на глаз вроде шустро, зачем что-то еще делать. пусть себе каждый раз страницы полностью генерируются, пусть куча запросов к базе идет, нормально...

когда сайт правильно сделан ему не страшны никакие боты.

и в зависимости от крупности/лени хостера, некоторым проще просто заблокировать проблему, чем пытаться добиться понимания от каждого клиента.

А Вы видать из адептов "раз я купил хостинг, то хостер ОБЯЗАН помогать мне с wordpress/joomla/drupal/иная цмс"?

Ясно. Ниочем, в общем. Я для сайтов сразу в роботсах прописываю правила для ботов, ненужных блочу. Как правило, этого бывает достаточно, чтобы не было излишней нагрузки на хостинг

К сожалению, не все боты следуют этим директивам. Поэтому клиентам часто приходится блочить боты с ahrefs к примеру. Да и яша тоже может создать проблем. Вот вы пишете у вас 10-20 пользователей трафика. Но если у вас 1000+ а то и 10000+ страниц которые часто индексируется яшой, то хостеру мало не покажется:) На 10000+ никакие директивы не помогут на шаред хостинге. Это особенно большая проблема у тех хостеров, которые размещают на ноде от 1000+ аккаунтов хостинга. На таких нодах как ни оптимизируй железо и софт, приходится очень жёстко следить за нагрузкой, иначе хостинг превратится не просто в тыкву, а очень гнилую тыкву.