Хостер блочит поискового бота, предлагая переехать на вдс

12 3
R
На сайте с 28.06.2015
Offline
70
1230

Перенес к ребятам из prohoster свой киносайтик, ибо уже подз. бегать от хостера к хостеру. Три часа потратил своего времени вместо ночного сна, пока переносил файлы и БД. И что вы думаете, шуршу по логам, а там вот такие вот строчки:

157.55.39.239 - - [18/Jun/2020:01:03:14 +0300] "GET /sitemap.xml HTTP/1.1" 403 117 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.39.239 - - [18/Jun/2020:01:03:14 +0300] "GET /sitemap.xml HTTP/1.1" 403 117 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.39.239 - - [18/Jun/2020:01:04:20 +0300] "GET /uploads/posts/2017-05/1494198360-1114539557-istoriya-laquofuture-folkraquo.jpg HTTP/1.1" 403 117 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Я в ахуе. Еще полчаса перебирал свою портянку .htaccess, ибо там каша из ip адресов всякой мрази, которая сайт дергает. Думаю, может ненарком диапазоны бинга попали. Нет, все нормально. Потом до меня дошло, если в error логе нет записей, значит, моя портянка не причем. Но, позвольте, не может же хостер блочить поискового бота.

Как оказалось, очень даже и может.

png bingbot.png
Рекомендую всем читать Правила Форума ()
Stolz
На сайте с 25.01.2007
Offline
153
#1

Красавцы!

Если что, и на VPS клиентам можно любых ботов заблокировать. +1 к домашнему серверу )

suffix
На сайте с 26.08.2010
Offline
278
#2

А Вас что больше возмущает ?

Что заблокировали без вашего уведомления ? -- (Так на шареде хостер имеет и право и возможность так делать)

Или за потерю поискового трафика переживаете ? -- (Так нет оттуда трафика на русские сайты)

Клуб любителей хрюш (https://www.babai.ru)
E
На сайте с 01.03.2011
Offline
135
#3
suffix:
А Вас что больше возмущает ?

Что заблокировали без вашего уведомления ? -- (Так на шареде хостер имеет и право и возможность так делать)

Или за потерю поискового трафика переживаете ? -- (Так нет оттуда трафика на русские сайты)

есть такие клиенты, которым надо и bing, и всякие ноунеймы вроде aspigel, короче всякая шалупонь, которая своими запросами мешает нормальному, рядовому клиенту, а иногда очень мешает

WapGraf
На сайте с 30.09.2009
Offline
457
#4
eeerrrt:
Текст абузы перевел: http://screenshot.ru/8f516e475a98e8f0c232e4f03ea46ff0

Адрес недоступен.

EuroHoster.org ( https://eurohoster.org/link.php?id=42 ) - территория быстрых серверов.
Andreyka
На сайте с 19.02.2005
Offline
822
#5

В TOS хостера есть упоминание о блокировки ботов? Или в публичной оферте?

Не стоит плодить сущности без необходимости
promo
На сайте с 01.09.2004
Offline
157
#6

Поржал с ТС, где он пишет в поддержку про употребление... :D

Создание и продвижение сайтов (http://www.create.by/seo/) в Беларуси
R
На сайте с 28.06.2015
Offline
70
#7
suffix:
А Вас что больше возмущает ?
Что заблокировали без вашего уведомления ? -- (Так на шареде хостер имеет и право и возможность так делать)

Да хостеры сейчас на все имеют право. Сегодня бинг, завтра яша, послезавтра гугл блокнут. А додики деньги потом платят оптимизаторам, когда у сайта проблемы возникают.

suffix:
Или за потерю поискового трафика переживаете ? -- (Так нет оттуда трафика на русские сайты)

У меня идут человек 10-20 в день. Дело ведь не конкретно, есть или нет трафик. Завтра последуют примеру бегета, который вообще запретил индексацию поисковикам из-за нагрузки.

---------- Добавлено 18.06.2020 в 13:27 ----------

evgeniymx:
есть такие клиенты, которым надо и bing, и всякие ноунеймы вроде aspigel, короче всякая шалупонь, которая своими запросами мешает нормальному, рядовому клиенту, а иногда очень мешает

Если для вас майкрософт это шалупонь, компания, у которой миллиардные сервисы, ну ставьте тогда Bolgenos.

Для вас - нормальный рядовой клиент, это ЛОХ. Которому можно сразу втюхать дедик для одностраничника и предложить "совсем дешево" раскрутку, ну чтоб улучшить видимость в поисковиках.

promo
На сайте с 01.09.2004
Offline
157
#8
reyicapow:
Завтра последуют примеру бегета, который вообще запретил индексацию поисковикам из-за нагрузки

Можно подробнее с этого места и пруфами?

R
На сайте с 28.06.2015
Offline
70
#9
Andreyka:
В TOS хостера есть упоминание о блокировки ботов? Или в публичной оферте?

Хз. Сам портянки эти, которыми жопу подтереть не листал. Если бы было, то скорее всего, сразу бы ткнули носом, мол ниче не знаем, вон у нас в офёрте прописано, что поисковым роботам доступ закрыт, а заходить можно на свой сайт только с locahost.

Саппорт лишь извинялся.

---------- Добавлено 18.06.2020 в 13:36 ----------

promo:
Поржал с ТС, где он пишет в поддержку про употребление... :D

А я реально подумал, что саппорт угарает. Ну как можно лочить поисковик. Да еще и по умолчанию. Зато у меня по логам тут же школота ломанулась через exit-ноды tor'a в 20 потоков парсить. Их то никто не поблочил.

---------- Добавлено 18.06.2020 в 13:43 ----------

promo:
Можно подробнее с этого места и пруфами?

https://talk.pr-cy.ru/topic/26571-budte-vnimatelny-s-beget/

Но, я находил на каком-то другом хостинг обзоре типо hosting101. Может уже ссылки стухли или подтерли. Там даже был офиц. коммент от бегета, сначала тоже говорили, типо переходите на свои сервера, потом вроде извинялись.

lealhost
На сайте с 07.06.2014
Offline
117
#10

Больше интересуют мнения, чем же таким может мешать бингбот


# cat access.log-20200618 | wc -l
1668779

# cat access.log-20200618 | grep "+http://www.bing.com/bingbot.htm" | wc -l
113249

# cat access.log-20200618 | grep "+http://yandex.com/bots" | wc -l
109748
Хостинг на SSD с Memcached от 60 рублей https://lealhost.com/
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий