Screaming frog seo spider - 403 | Хостинг блокирует сканирование

Много раз сталкивался с тем, что владельцы сайтов вообще не в курсе, что у них там блокируется. Ну бывает - бывший вебмастер что-то подключил, или просто решили воспользоваться услугой, навязываемой хостером.
А потом удивляются, что всё в ноль шваркнулось - закрывшись от поисковиков.

постоянно с такими сталкиваюсь. в каких-то кругах вебмастерских популярен скрипт, который блочит автоматом в хтасес заходы из закладок, не разбирался по какому алгоритму. но в итоге "что-то у меня траф падает и падает. все перепробовал, сайт в топе, а трафа нету" а оказывается что потиху перебанился весь рунет в хтасес по ip и уже никто не в курсе когда и кто поставил этот чудо скрипт

Ну это только шаблон, если у вебмастера с головой плохо - и стеклянное изделие разобьёт, и руки порежет. Для того, чтобы отсечь траф без рефок или блокирнуть первичный нагул - скрипт отрабатывает хорошо. Тем паче при нагуле список сайтов сейчас принято проверять на коды ответов. Всё, что не отдаёт 200 - из списка удаляется, гимор не нужен никому. Это ещё один плюс.

Еще раз, откуда инфа что именно хостер это делает? Может сам владелец через .htaccess

Хоть каплю критического мышления... вам неизвестно кто сказал свою фантазию по поводу неизвестного сайта - и давай на ровном месте поливать бегеты и т.д. Никто не видел тот сайт и не знает на каком уровне выдается там 403. Блочится там все подряд вместе с гуглоботами или может вообще вручную ip ТС'а владелец сайта заблочил какраз за то что бомбил запросами - ну не знаем же мы всей истории, зачем вы начинаете выдумывать дальше сказки какие-то?

Я ж говорю, так ведь можно предположить, что он хотел спарсить сайт Mik Foxi и получив ответ:

побежал регистрироваться на сёрче и утверждать что именно хостинг этого сайта блокирует именно screaming frog.

Практически всегда это beget. И в ряде случаев информация о настройке защиты - непосредственно от владельца.
ip тут тоже ни при чём, я, к примеру, прокси меняю при парсинге если надо.
Да и речь не только о лягушке. Можно попробовать провести поверхностный технический анализ "Лабрикой" или любым другим сервисом. В лучшем случае будет вот так:

Ты сейчас вообще о чём? Ты просканил сайты Фокси и он русским языком сказал - это он сам закрылся клоудом.

Во первых было всего лишь предположение, что это бегет.

Во вторых - бегет это заслужил. Он единственный из ТОповых хостеров, кто блочит и мешает нормальной работе. По запросу отключают, да, но факт имеет место быть.

Так там эта балалайка по дефолту что ли включается - или как отдельная услуга?
Я вчера с экспресс-аудитом целый день проваландался - лабрика получила только главную - пустую, мегаиндекс получает ноль, JM - серверную фигу, фрог худо-бедно все данные вытянул. Списался с заказчиком - да, говорит, включена защита, надо ли отключать. От ботовни год назад закрывался.  Ну, я ему пяток ботов загнал с характерным запросом проверки ради - блокнет или нет. Ни черта, как родных сайт встретил.
Вот и вся защита и оборона, ощипанна ворона.

Они утверждают, что дефолтно отключено, но автоматом (без предупреждения и информирования клиента!) включается "как только пойдут боты".
Но у меня есть сомнения на этот счёт - почти все сайты клиентов (включая форумных юзеров с проблемами), которые мне там попадались были заблочены для анализаторов.

Что ж вы все такие тяжелые...

Еще раз повторяю. О каком сайте говорит ТС? Кто-то его видел? Нет.

Тот сайт закрыт CF или нет? Не знает никто.

403 ответ идет на уровне хостера там или на уровне владельца сайта? Тоже никто не знает.

И еще раз вопрос. Вы некий человек-пустышка83, парсите чужой сайт (и плевать вам что возможно за нагрузку владельца сайта заблокируют или разведут на более дорогой тариф), получаете 403 в ответ... но откуда вам знать чьих рук это дело? Почему утверждение что это делает хостер - единственно верное?

Во первых этот вопрос ты задавай ТСу, а не всем.

Во вторых ТС интересовался совершено конкретной ситуацией - "если заблочил хостер". К чему всё другие фантазии?