Screaming frog seo spider - 403 | Хостинг блокирует сканирование

Сделать больше паузу между запросами и уменьшить количество потоков.

Там есть возможность выбрать User-Agent. Иногда помогает обойти проблемы с доступом.
Но вообще - всё чаще вижу попытки блокировок всего и вся. От реальных зловредных ботов это не защитит никак, а вот заблокировать поисковых ботов и сторонние сервисы люди умудряются.

Написать хостеру чтоб перестал заниматься фигней и отключил блокировки. Не шаред бегета случаем у вас? :D Вообще хостеровские блокировки и "антиддосы" это в основном лютая средневековая дичь, несущая больше вреда чем пользы.

действительно

Фрог платный. 

Но его популярность связана ещё и с наличием крэка. 
Что касается защиты beget - там блокировка ботов без куки, не более. То есть блочит все сервисы тупо, а ботов с профилями пропускает изи.

это защита от клаудфлар, которая работает как и задумано.

да примитив который не защищает от реальных опасностей, но мешает легитимным ботам.

Так а по первому посту разве понять можно, блок это хостера или тоже просто под cloudflare сайт? Еще и бегет приплели зачем-то...

Т.е. какой-то там неизвестный сайт отдает 403 (неизвестно еще по какой причине) - это примитив, а когда ваши сайты ровно также 403 в ответ выдают - это другое, так и задумано :)

Можно определить - бот это или юзер. И владельцу решать - пускать ли ботов (и каких) на сайт или нет. Владельцу, а не хостеру!

ЗЫ. Я не говорю, что CF - это правильное решение. Скорее нет, чем да. Но это дело исключительно владельца.

Сейчас каждый второй сайт, приходящий на аудит, закрыт от сканеров и парсеров - и тупо, по дурному. ТС интересуется, как обойти эту проблему.
Бегет - хостер, уже хронически примахавший этими блокировками, которые ни от чего не защищают, а жизнь персонально мне усложняют. Я не могу даже текстовым анализатором воспользоваться. А боты туда заходят запросто.
И какая разница, как реализована блокировка - фларой, антиботом или ещё чем, если в блок попадает гуглобот, или страны кроме РФ, или обычные сеошные парсеры.

еще не известно, ТС сканирует свой сайт или чужой )))