Screaming frog seo spider - 403 | Хостинг блокирует сканирование

Ситуация типовая. Вот запрет на парсинг, вот SF.
В ромашку играть на тему кто блочит - никакого интереса нету, способы решения перечислены. 

И пару слов в защиту бегета (никак не связан с ним).

У кого-то из вас тут есть хостинг свой, видели картину с другой стороны? Почему, видев лишь одну сторону медали, позволяете себе "праведный гнев"?

Вы все конечно красавцы, сайты у вас идеальные и естественно что блочить лишних ботов совершенно ни к чему. Но к сожалению вас таких менее 1%. Все остальные владельцы сайтов, нет не идиоты, но у них просто совершенно другая жизнь. Без вот этих ваших вордпресиков и т.п. ерунды. И даже больше, вероятно сами они вообще понятия не имеют как делать сайты - им их склепал фрилансер за 3 копейки и ушел в закат. Дальше владелец остается 1 на 1 с хостером и сайтом, который генерирует каждую страницу по пол-секнуды, но владелец вообще не в теме и считает это совершенно нормальным. Да и с его 3 посетителями в день у хостера также нет претензий никаких. Но вот появляется наш человек-пустышка83 и запускает по несколько (а то и несколько десятков или сотен) запросов в секунду. Что происходит дальше и что и кто в этой ситуации должен делать?

1) Хостер блокировует этот сайт/аккаунт чтоб не тормозил сервер и все остальные сайты на нем. Хостер предлагает владельцу съехать на более дорогой тариф или vps. Владелец в недоумении как так, все было отлично год на минимальном тарифе, а теперь начался какой-то развод. Вывод - хостер плохой, надо переезжать к другому.

2) Хостер, имея представление о большинстве своих клиентов, понимает что просить кого-то улучшить сайт чтоб тот отдавал страницы быстрей - бесполезно в 99% случаев. И видя явно аномальную активность предпринимает действия по блокировке ее по определенному шаблону, предполагая что вреда никакого для сайта не будет - никто же яндексы с гуглами не блокирует. А владелец в 99.99% случаев даже не заметит ничего. И в итоге клиент не уйдет и вреда от него не будет. А если и увидит/уйдет, ну что ж, мы хотябы попытались...

Так как надо правильней поступить? Ничего не делать вообще, пусть все сляжет у всех клиентов?

Я полностью согласен что вмешиваться не стоит и стараюсь держать контакт с клиентами чтобы в случае чего помочь/подсказать или даже с разрешения влезть в админку, подшаманить сайт.

Но вы представляете себе уровень бегета и какое количество проблемных сайтов у них там? При всем желании, это просто невозможно ни у какого более-менее крупного хостера. Там проще массово что-то с этим делать... ну или терять клиентов и превращаться в менее крупного хостера.

Да вот фиг!

а) Бегет клянётся, что все сайты (сайты, а не акки клиентов!) независимы.

б) бегет не блочит ни сайты ни акки клиентов. Они "блочат ботов". (в контексте данного обсуждения)

в) знаешь как они "блочат  ботов"? Принудительно выставляя куку. Это вообще нормально?

г) на любом вменяемом хостинге никакое нашествие ботов не положит сайты других клиентов. Чай, сейчас не 90е годы.

Другие хостеры как-то не помирают под натиском Screaming Frog. И вопрос, что мешает блокнуть этот UA в роботс? По умолчанию в настройках - "уважать директивы".

Это ж какую дохлую конфигу нужно юзать на шареде, чтобы от парсера целый кластер лёг. Не, ну я как-то админил сайт на руцентре - там оперативки выделялось 512 метров, что ли. 3 человека разом зашли - сервер ложится, саппорт в истерике, "Вас дудосят, ховайтесь в жито!" - но к бегету я как-то получше относился. А тут впору задуматься - не рекомендовать ли клиентам хоть на таймвеб какой переползать, что ли. Там свои тараканы, но не такие же стрёмные.
"К" - клиентоориентированность!

Ну тогда ещё хостеры не баловались никакими "защитами" юзеров. Тогда хостеры были жестче: "твои скрипты - твоя забота". (и это правильно ящетаю)

Это ближе к 2010м начало появляться. К тому времени и хостеров развелось и резко возросли массовые атаки на популярные движки. И тогда у некоторых было ещё хуже - ставили "защиты" на админки. (см мой древний топик с поиском хостера). К, счастью, это продолжалось всего пару-тройку лет и постепенно хостеры отменили эту хрень. А вот бегет с тех пор всё никак не отойдет.

Я ж говорю, блокировать сайт - это п.1 - нежелательная мера для самого хостера (т.к. клиент вероятно уйдет). Потому они выбирают п.2

Независимы? Возможно в плане доступа и независимы, чтоб подцепив заразу на одном сайте не задело другие. Но это же shared хостинг - исполняются скрипты всех пользователей на одном процессоре (ладно, 2 если речь про бегет). Потому и выгоняют на vps - там он одно свое ядро если на 100% загрузит, то только его, а не все сразу. Опять же, чтоб не терять клиента (да и вдобавок больше денег с него получить) - пусть у него там на vps сляжет только его ядро и его сайт раз он такой терпила, готов потерпеть неудобства за свои же деньги, лишь бы кто-то там смог нормально спарсить его сайт.

Про блок через яву/куку знаю, также есть в своем арсенале такие методы. И некоторым кстати (с их согласия конечно же) такое внедрено. По все той же причине - владельцы без понятия как сдедать чтоб их поделка работала быстро и либо так, либо съезжать... а куда? Отовсюду их еще быстрей попрут.

Про 90е, кластеры и т.п. облака - опять же, если речь про классический shared, то это тупо один физический сервер с кучкой пользователей. Безо всяких виртуализаций и подобного. Тот же бегет - пару раз доводилось переносить оттуда клиентов, давали доступ глянуть что/как - просто двухпроцессорный серверок с большим числом ядер, памяти... и огромным LA.

А у тех модных/молодежных с бэкэндами на разных серверах, со всякими удаленными mysql и сетевыми дисковым хранилищами - там же почти всегда более тормознуто получается по итогу. Ну не может оно работать также быстро с такими же минимальными задержками как на классическом одном сервере. Да и все равно не поверю что не предпримут там никаких мер если на сайт, который генерирует страницы секунды и при этом на 100% грузит 1 ядро свалится пару десятков запросов в секунду. Соседей может и не положит, но к сайту/владельцу санкции будут наверняка. И что для владельца в итоге лучше будет - если блокнет хостер каких-то отдельных ботов или вообще вырубит неожиданно сайт целиком?

Я ж и спрашиваю, как называется ваш хостинг? :) Никак? Ну тогда откуда вам знать что там у других.

Конечно многие сайты нормально сделаны и ничего не помирает ни под каким натиском. Но есть и совсем другие... и ну нигде вам не дадут грузить ядер 10+ на 100% хоть какое-то продолжительное время. Или отключат или заблокируют источник вредного траффика.

А нафиг вы нужны со своими парсерами и ботами  хостингу и владельцам сайтов?

Мне лениво хостеру рассказывать, но на многих нормальных хостингах даже получив ДДОС на один сайт - сайты других клиентов не пострадают. (ну может временно чуть медленнее поработают неск минут.) Про "положить соседей своими нагрузками" вообще смешно говорить. Это байки для домохозяек.

Все эти рассказы о "защите" от одного сервиса (с одного IР/UA/etc) я расцениваю либо как некомпетентность либо троллинг и развешивание лапши.