Хостинги и Онлайн-сканеры сайтов (Скриминг Фрог, Сайт Аудитор, Нетпик и пр) - кто виновать и что делать

regta
На сайте с 15.04.2006
Offline
302
266

Здравствуйте

Поднимал эту проблему - https://searchengines.guru/ru/forum/1068551

но вопрос все равно висит в воздухе

Так уж получается, что приходится работать преимущественно с многостраничниками, от 10 тыс страниц и более.

Некоторые хостинги блокируют работу, сайт отсканировать не возможно.

Нормально работают: хостер.ру, бегет, таймвеб

Сейчас вот бодаюсь с Ипипой - пишут мол это не их проблема, обращайтесь к разрабам ПО, виноваты посредники в трафике и пр...

Но как не их, если на хостер.ру - 300000 страниц я беру Фрогом, а на Ипипе - 200 страниц и "сервер еррор"..

Речь именно про виртуальный хостинг. Где VDS-VPS понятно проблем нет, админ делает доступ. Но с виртуалками - засада.

Да, я против - чтобы всякий левый чувак мои сайты сканировал. Но, если сайт размещен на аккаунте за который я плачу - то почему нет нормального доступа???

P.S. фокусы с подделкой Ю-А, проксями и прочей ересью - не надо. Нормальная белая прога, свой акк на хостинге, почему нет возможности нормально работать :(

-------------

Вопрос к коллегам. Ваш виртуальный хостинг с многостраничниками (от 10к страниц) и вы работаете с Фрогом и подобным (и нет проблем). Порекомендуйте, но только достоверно, у кого есть реальный опыт с задачей сканирования.

Спасибо

Цитируйте, плиз, историю переписки в личке. Спасибо.
Антоний Казанский
На сайте с 12.04.2007
Offline
631
#1
regta :
Но как не их, если на хостер.ру - 300000 страниц я беру Фрогом, а на Ипипе - 200 страниц и "сервер еррор"..
regta :
Некоторые хостинги блокируют работу, сайт отсканировать не возможно.

Понятно дело блокируют, у них своя политика работы и вы в эту политику вписываетесь когда арендуете шаред хостинг.


regta :
Нормальная белая прога, свой акк на хостинге, почему нет возможности нормально работать :(

Он ваш равно настолько насколько там ваши данные и вы исправно платите за его аренду. Условия использования определяет хостинг.


regta :
Порекомендуйте

Либо переносите на  VDS-VPS, либо 

regta :
фокусы с подделкой Ю-А, проксями и прочей ересью


Других вариантов, простите, нет.

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
-S
На сайте с 10.12.2006
Offline
1355
#2
Свой выделенный сервер.
globalmoney
На сайте с 09.12.2005
Offline
391
#3
regta :
Где VDS-VPS понятно проблем нет, админ делает доступ.
Так берите виртуальный сервер и не парьтесь.
Шаред уже не для Вас, а разницы в цене практически нет.
MGNHost.ru - полный комплекс хостинг услуг ( https://www.mgnhost.ru ) VPS/VDS на SSD дисках в России / Нидерландах / США от 210 рублей ( https://www.mgnhost.ru/vds.php )
regta
На сайте с 15.04.2006
Offline
302
#4
Антоний Казанский #:
Понятно дело блокируют, у них своя политика работы и вы в эту политику вписываетесь когда арендуете шаред хостинг.

Все верно. Если есть клиентоориентированные хостинги - туда и уходить. А остальные - пусть со своей политикой так и сидят.

Нравится, скажем, ник-ру нагибать клиентов на платный сертификат и ру-домены по 1000 - отлично, пусть нагибают. Я своих клиентов оттуда забрал уже всех. Дело житейское

globalmoney #:
Так берите виртуальный сервер и не парьтесь.
Шаред уже не для Вас, а разницы в цене практически нет.

Разница в цене есть и не маленькая. Ни я ни клиент - сервера не администрируем, а значит +Х руб к процессу.

Но вопрос не в этом, это для отдельной ветки дискуссия о +/-


Антоний Казанский #:
Либо переносите на  VDS-VPS

Идеальные клиенты - где они? И перенесут по первому требованию и оплатят все что нужно...  Работаем с чем есть и весьма за умеренные деньги. Селяви на текущий момент.

Но вопрос не в этом, вирт.хостинги адекватные есть. Цель топика - спросить у формучан про опыт работы с многостраничниками на них, в частотности сканирование Фрогом и компанией.

Вот и всё какбэ

.

regta
На сайте с 15.04.2006
Offline
302
#5
Антоний Казанский #:
Других вариантов, простите, нет.

А вот как ни странно.. В том году была проблема (по ней и делал топик, в стартпосте указал) - там была проблема с хостингом аналогичная.

Малец потеребил их ТП, и надо же - в этом году на виртуалке сайты по 20-30к страниц без единой ошибки Фрогом берутся..

Я думаю 1-2 раза в месяц что собственник гоняет свой сайт Фрогом на виртуалке - вообще никак не проблема ни на сотую долю процента нагрузки для хостинга

regta
На сайте с 15.04.2006
Offline
302
#6

В идеале бы конечно хотелось - чтобы владелец (имеющий доступ к панели) - мог гонять сайт без проблем. А вот чужак - никак не мог. Ибо зачем конкуренту меня парсить, мне этого не надо.

Я понимаю, надо писать в спортлото на эту тему, да забыл адрес, пишу здесь...

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#7
Шаред хостинг не предназначен для того, чтоб такую дичь творили, нормальный и должен блочить таких ботов.
Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
Антоний Казанский
На сайте с 12.04.2007
Offline
631
#8
regta #:
Все верно. Если есть клиентоориентированные хостинги - туда и уходить. А остальные - пусть со своей политикой так и сидят.

Всё верно. Тогда задача заняться поиском таких хостингом, где этих ограничений нет и перенести сайты туда, если это для вас критически необходимо.

В отношении клиентоориентированности "тот хостинг" скажет - мы пониманием вашу проблему, но в данном случае для шаред хостинга таких возможностей нет.


regta #:
Дело житейское

Вы - правы, дело житейское. Вам нужны другие тех. условия хостинга - ищите их. 


regta #:
Идеальные клиенты - где они?

Идеальных клиентов нет. Есть люди с конкретными проблемами и их приходится в том числе организационно решать.

Когда получается: и клиент доволен, и все в едином порыве, и все счастливы от рабочего процесса, вот тогда возникает временная иллюзия про идеального клиента. 


regta #:
И перенесут по первому требованию и оплатят все что нужно...  Работаем с чем есть и весьма за умеренные деньги. Селяви на текущий момент.

Заметьте. Данная техническая необходимость (для контроля и мониторинга) нужна только вам, следовательно и вам искать решение. Вы можете идти по пути персональных настроек проксей и прочих программных особенностей, а можете каким-то чудом уговорить своего клиента перейти на другой хостинг.   


regta #:
Но вопрос не в этом, вирт.хостинги адекватные есть. Цель топика - спросить у формучан про опыт работы с многостраничниками на них, в частотности сканирование Фрогом и компанией.

Про опыт и про возможные варианты вам (в том числе и я) писали в прошлой теме.

Вы опробовали эти возможности? Про результат их применения вы ничего не написали.

Как же вам ещё помочь, если мы вам советуем, а с октября 22-го года вы так и не продвинулись в этом вопросе?

Антоний Казанский
На сайте с 12.04.2007
Offline
631
#9
regta #:
В идеале бы конечно хотелось - чтобы владелец (имеющий доступ к панели) - мог гонять сайт без проблем. А вот чужак - никак не мог. Ибо зачем конкуренту меня парсить, мне этого не надо.

Вам нужны спец. условия. Спец. условия на выделенном сервере. На шареде их нет. Смиритесь с этим :) 

Антоний Казанский
На сайте с 12.04.2007
Offline
631
#10
Mik Foxi #:
Шаред хостинг не предназначен для того, чтоб такую дичь творили, нормальный и должен блочить таких ботов.

Совершенно верно. Поэтому хостинги либо (и чаще всего) блочат массовые запросы подобным способом, либо выпроваживают проблемный аккаунт с обслуживания (либо в расширение услуг, либо в сад) :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий