Screaming frog seo spider - 403 | Хостинг блокирует сканирование

Софтом типа того, который упомянул ТС, с мощного сервера можно положить сайт на шаред хостинге. 

Все правильно делают, нафиг не нужны такие непрошеные гости.

Я с пачкой хостеров работаю по своим и клиентским сайтам. Таймвеб, регру, инфобокс, мастерхост, блаблабла - там на десятки счёт. Но вот по пачке особенностей парсинга могу определить Бегет даже не глядя, кто там в хостерах - из раза в раз одно и то же косячьё. Блок США, блок Бинга, разница в ответе для разных UA (маленькая, но реальная), или вон как на скрине, который я публиковал выше.
Я бы предпочёл, чтобы хостер хрены не плёл, если это не оговорено в договоре - потому что обнаружив такую фигню, мне надо проверить, а нету ли там мобильного редиректа, скажем, и не вшито ли что-то левое, и есть ли доступ для важных UA и т.п.
Периодически парсить сайт для выявления ошибок - это, тащемта, рутинная работа для вебмастера и SEO. Понятно, что для левых людей и ненужных сервисов доступ можно и перекрыть - но это здорово осложнит работу хотя бы по анализу сайта в рамках продвижения.

Твой извечный оффтоп с зацепами на личности никакого отношения к дискуссиям не имеют.

ТС’a блокнул хостер или владелец сайта, что сделано вполне правильно, ибо не хрен лезть туда, куда тебя не звали.

Можешь ТС’y подсказать как обойти блокировку. А лучше сразу создать топик в курилке про вскрытие замков за 2 минуты, тема тоже полезная - многие соседи на даче. И пока их нет дома, нужно сделать аудит их бытовой техники, потому что к ним в гости люди ходят, а замки придумали лохи, весь мир - это открытый музей, камеры наблюдения и консьержки - зло и бла-бла-бла, вплоть до того, что все мы братья и дальше уйти в религиозную догматику. Вплоть до того, что было сказано, что богатому сложно попасть в рай, как верблюду пройти сквозь игольное ушко, поэтому , вынося его вещички, ты заботишься о его вечной душе 😁

Как надоели эти умники  которые лезут на сайты такими программами.

Нормальному человеку через браузер хватает 3 минуты понять структуру сайта.

Эти якобы SEO специалисты запускают и сидят, кайф ловят думая какой я молодец и супер SEO спец.

Потом когда сканирование закончилось, они получают экстаз и закрывают программу.. 

P.S.

Я кстати такую ерунду тоже блочу.. Не то чтобы это волновало, только чтобы не дать кайф словить очередному чудику.

Во первых это твои обычные фантазии. Мы до сих пор ничего не знаем чей сайт сканил ТС.

Во вторых - ты цитировал мой пост про бегет, и опять навалил тут свою кучу фантазий, предъявив их мне.

В третьих - как обычно в профильном топике понеслась по замки, музеи, религию и тп ересь (спасибо что хоть тут корону и путина не приплёл)

Теперь смотри в зеркало: твой извечный оффтоп с зацепами на личности никакого отношения к дискуссиям не имеют. (с)

А зачем это знать, если ему отдали 403 ошибку? 😂

Я тебе задал вопрос https://searchengines.guru/ru/forum/1048975/page3#comment_16669478 , вопрос подразумевает ответ.

Я просто вижу, что у тебя заканчивается фантазия во флуде и оффтопе.

Если ты не уловил ТСа, то я тебе поясню: его нафиг послали с его софтом. Хостер или владелец сайта - не важно. С чего у вас родилась колективная идея о том, что это именно хостер - для меня загадка.

Не надо разводить дискусси. ТС задал вопрос, ты на него ответил?

Я считаю, что помогать не нужно, раз против этого хостер или владелец сайта. Про вскрытие замков я тебе написал не зря. Разницы никакой нет.

Собсно, тебя я и спросил, кто вас ждет с вашими парсерами? И не понимаю, что тебя так бомбануло? Ты же знаешь, что никто не ждет.

У большинства примитивная прошивка. Выдрать семантику конкурента и на ее основе слепить что-то похожее.

Как только выводишь сайт в топ 10, сразу начинают лезть со всяких говносервисов по анализу текста и т.п., чтобы потом доспамливать себе текст или разбавлять.

Дядя Петя, ты дурак?(с)

Впрочем, ответ очевиден - ты и предыдущими бреднями и последующим размазывание и стрелками на него ответил.

Но таки отвечу на это вопрос, авось голова что-то воспримет.

Прикинь если ТСу надо проверить свой сайт? Ну или сайта клиента? На это фантазии не хватает? Только всякую ересь сочинять гаразд?

Опять стрелки метаешь. Ты до меня дое..колупался в связи с бегетом или тем, что я ТСу не отвечал ВООБЩЕ?

Так я поясню, тебе недалёкому: до меня ТСу всё рассказали. У меня нет привычки повторять за кем-то одно и тоже. Разве что только для дебилов приходится, но ТС себя таковым не показал. Пока во всяком случае.

А я тебе и ответил - доколе ты свои фантазии будешь на меня вешать? Или опять ниасилил?

И даже посты Петрова неосилил? Вы же коллеги на одной волне, с одинаковы инструментами и задачами.

Не надо свои галлюцинации относительно меня и целей ТС’a выдавать за действительное.

Я тебя спросил: кто вас ждёт на своих сайтах с вашими парсерами и прочими говносервисами?

При чем вообще хостинг, если вы обыкновенные ламеры? Вы свои-то сайты в состоянии открыть?

Слишком много флуда вы написали вокруг незнания одной кнопки 😁