Screaming frog seo spider - 403 | Хостинг блокирует сканирование

BN
На сайте с 17.07.2021
Offline
0
3787

Добрый вечер!

Подскажите, пожалуйста, в случае блокировки хостингом сканирования сайта, как-то можно обойти блокировку и просканировать ресурс?

Код ответа 403

LEOnidUKG
На сайте с 25.11.2006
Online
1747
#1
Сделать больше паузу между запросами и уменьшить количество потоков.
✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Виктор Петров
На сайте с 05.01.2020
Offline
240
#2
Там есть возможность выбрать User-Agent. Иногда помогает обойти проблемы с доступом.
Но вообще - всё чаще вижу попытки блокировок всего и вся. От реальных зловредных ботов это не защитит никак, а вот заблокировать поисковых ботов и сторонние сервисы люди умудряются.
Mik Foxi
На сайте с 02.03.2011
Offline
1113
#3
Написать хостеру чтоб перестал заниматься фигней и отключил блокировки. Не шаред бегета случаем у вас? :D Вообще хостеровские блокировки и "антиддосы" это в основном лютая средневековая дичь, несущая больше вреда чем пользы.
Универсальный антибот, антиспам, веб файрвол, защита от накрутки поведенческих № 1 в рунете: https://antibot.cloud/
Евгений Крупченко
На сайте с 27.09.2003
Offline
178
#4
Mik Foxi #:
лютая средневековая дичь

действительно

LEOnidUKG #:
Сделать больше паузу между запросами и уменьшить количество потоков

Виктор Петров #:
Там есть возможность выбрать User-Agent


Виктор Петров
На сайте с 05.01.2020
Offline
240
#5
Евгений Крупченко #:

действительно


Фрог платный. 

Но его популярность связана ещё и с наличием крэка. 
Что касается защиты beget - там блокировка ботов без куки, не более. То есть блочит все сервисы тупо, а ботов с профилями пропускает изи.

Mik Foxi
На сайте с 02.03.2011
Offline
1113
#6
Евгений Крупченко #:
действительно

это защита от клаудфлар, которая работает как и задумано.


Виктор Петров #:
Что касается защиты beget - там блокировка ботов без куки, не более. То есть блочит все сервисы тупо, а ботов с профилями пропускает изи.
да примитив который не защищает от реальных опасностей, но мешает легитимным ботам.
Евгений Крупченко
На сайте с 27.09.2003
Offline
178
#7

Так а по первому посту разве понять можно, блок это хостера или тоже просто под cloudflare сайт? Еще и бегет приплели зачем-то...

Т.е. какой-то там неизвестный сайт отдает 403 (неизвестно еще по какой причине) - это примитив, а когда ваши сайты ровно также 403 в ответ выдают - это другое, так и задумано :)


SeVlad
На сайте с 03.11.2008
Offline
1609
#8
Евгений Крупченко #:
Так а по первому посту разве понять можно, блок это хостера или тоже просто под cloudflare сайт?

Можно определить - бот это или юзер. И владельцу решать - пускать ли ботов (и каких) на сайт или нет. Владельцу, а не хостеру!

ЗЫ. Я не говорю, что CF - это правильное решение. Скорее нет, чем да. Но это дело исключительно владельца.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
Виктор Петров
На сайте с 05.01.2020
Offline
240
#9
Евгений Крупченко #:
Так а по первому посту разве понять можно, блок это хостера или тоже просто под cloudflare сайт? Еще и бегет приплели зачем-то...

Сейчас каждый второй сайт, приходящий на аудит, закрыт от сканеров и парсеров - и тупо, по дурному. ТС интересуется, как обойти эту проблему.
Бегет - хостер, уже хронически примахавший этими блокировками, которые ни от чего не защищают, а жизнь персонально мне усложняют. Я не могу даже текстовым анализатором воспользоваться. А боты туда заходят запросто.
И какая разница, как реализована блокировка - фларой, антиботом или ещё чем, если в блок попадает гуглобот, или страны кроме РФ, или обычные сеошные парсеры.

Mik Foxi
На сайте с 02.03.2011
Offline
1113
#10
Евгений Крупченко #:

Так а по первому посту разве понять можно, блок это хостера или тоже просто под cloudflare сайт? Еще и бегет приплели зачем-то...

Т.е. какой-то там неизвестный сайт отдает 403 (неизвестно еще по какой причине) - это примитив, а когда ваши сайты ровно также 403 в ответ выдают - это другое, так и задумано :)


еще не известно, ТС сканирует свой сайт или чужой )))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий