Другие хостеры как-то не помирают под натиском Screaming Frog. И вопрос, что мешает блокнуть этот UA в роботс? По умолчанию в настройках - "уважать директивы".
Это ж какую дохлую конфигу нужно юзать на шареде, чтобы от парсера целый кластер лёг. Не, ну я как-то админил сайт на руцентре - там оперативки выделялось 512 метров, что ли. 3 человека разом зашли - сервер ложится, саппорт в истерике, "Вас дудосят, ховайтесь в жито!" - но к бегету я как-то получше относился. А тут впору задуматься - не рекомендовать ли клиентам хоть на таймвеб какой переползать, что ли. Там свои тараканы, но не такие же стрёмные."К" - клиентоориентированность!
Лет 10 пользовался программой semonitor и не знал горя. С основной задачей показать какое место у ключа она прекрасно справлялась. Но вот начиная с зимы программа перестала функционировать. Тех поддержка вообще ничего не отвечает. Скайп указанный на сайте молчит, ася тоже.
1. Если вы юзали прогу - столкнулись ли с этим и если да, то как решили проблему?
2. Чем сейчас можно пользоваться? Готов купить и пусть стоит на компе.
А чего бы, скажем, и не KeyCollector? Или там вебсервисы типа Topvisor, Allpositions и всё такое?
301 шаблоном никак? Тупо выгрузить из того же вебмастера или логов - и перенаправить на новые URL?
Еще раз повторяю. О каком сайте говорит ТС? Кто-то его видел? Нет.
Тот сайт закрыт CF или нет? Не знает никто.
403 ответ идет на уровне хостера там или на уровне владельца сайта? Тоже никто не знает.
Ситуация типовая. Вот запрет на парсинг, вот SF.В ромашку играть на тему кто блочит - никакого интереса нету, способы решения перечислены.
Так там эта балалайка по дефолту что ли включается - или как отдельная услуга?Я вчера с экспресс-аудитом целый день проваландался - лабрика получила только главную - пустую, мегаиндекс получает ноль, JM - серверную фигу, фрог худо-бедно все данные вытянул. Списался с заказчиком - да, говорит, включена защита, надо ли отключать. От ботовни год назад закрывался. Ну, я ему пяток ботов загнал с характерным запросом проверки ради - блокнет или нет. Ни черта, как родных сайт встретил.Вот и вся защита и оборона, ощипанна ворона.
Я склонен думать, что всё упирается в количество сайтов, вполне достойных топов по всем основным характеристикам. Отсюда и ротация - в дополнение к "бандитам".
Практически всегда это beget. И в ряде случаев информация о настройке защиты - непосредственно от владельца.ip тут тоже ни при чём, я, к примеру, прокси меняю при парсинге если надо.Да и речь не только о лягушке. Можно попробовать провести поверхностный технический анализ "Лабрикой" или любым другим сервисом. В лучшем случае будет вот так:
Ну это только шаблон, если у вебмастера с головой плохо - и стеклянное изделие разобьёт, и руки порежет. Для того, чтобы отсечь траф без рефок или блокирнуть первичный нагул - скрипт отрабатывает хорошо. Тем паче при нагуле список сайтов сейчас принято проверять на коды ответов. Всё, что не отдаёт 200 - из списка удаляется, гимор не нужен никому. Это ещё один плюс.
Много раз сталкивался с тем, что владельцы сайтов вообще не в курсе, что у них там блокируется. Ну бывает - бывший вебмастер что-то подключил, или просто решили воспользоваться услугой, навязываемой хостером.А потом удивляются, что всё в ноль шваркнулось - закрывшись от поисковиков.
