Хостер блочит поискового бота, предлагая переехать на вдс

12 3
R
На сайте с 28.06.2015
Offline
73
1262

Перенес к ребятам из prohoster свой киносайтик, ибо уже подз. бегать от хостера к хостеру. Три часа потратил своего времени вместо ночного сна, пока переносил файлы и БД. И что вы думаете, шуршу по логам, а там вот такие вот строчки:

157.55.39.239 - - [18/Jun/2020:01:03:14 +0300] "GET /sitemap.xml HTTP/1.1" 403 117 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.39.239 - - [18/Jun/2020:01:03:14 +0300] "GET /sitemap.xml HTTP/1.1" 403 117 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.39.239 - - [18/Jun/2020:01:04:20 +0300] "GET /uploads/posts/2017-05/1494198360-1114539557-istoriya-laquofuture-folkraquo.jpg HTTP/1.1" 403 117 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Я в ахуе. Еще полчаса перебирал свою портянку .htaccess, ибо там каша из ip адресов всякой мрази, которая сайт дергает. Думаю, может ненарком диапазоны бинга попали. Нет, все нормально. Потом до меня дошло, если в error логе нет записей, значит, моя портянка не причем. Но, позвольте, не может же хостер блочить поискового бота.

Как оказалось, очень даже и может.

png bingbot.png
Рекомендую всем обнуляться ()
Stolz
На сайте с 25.01.2007
Offline
164
#1

Красавцы!

Если что, и на VPS клиентам можно любых ботов заблокировать. +1 к домашнему серверу )

suffix
На сайте с 26.08.2010
Offline
308
#2

А Вас что больше возмущает ?

Что заблокировали без вашего уведомления ? -- (Так на шареде хостер имеет и право и возможность так делать)

Или за потерю поискового трафика переживаете ? -- (Так нет оттуда трафика на русские сайты)

Клуб любителей хрюш (https://www.babai.ru)
E
На сайте с 01.03.2011
Offline
140
#3
suffix:
А Вас что больше возмущает ?

Что заблокировали без вашего уведомления ? -- (Так на шареде хостер имеет и право и возможность так делать)

Или за потерю поискового трафика переживаете ? -- (Так нет оттуда трафика на русские сайты)

есть такие клиенты, которым надо и bing, и всякие ноунеймы вроде aspigel, короче всякая шалупонь, которая своими запросами мешает нормальному, рядовому клиенту, а иногда очень мешает

WapGraf
На сайте с 30.09.2009
Offline
463
#4
eeerrrt:
Текст абузы перевел: http://screenshot.ru/8f516e475a98e8f0c232e4f03ea46ff0

Адрес недоступен.

EuroHoster.org ( https://eurohoster.org/ ) - территория быстрых серверов. Серверы, VPS, VPN от 1.50€
Andreyka
На сайте с 19.02.2005
Offline
822
#5

В TOS хостера есть упоминание о блокировки ботов? Или в публичной оферте?

Не стоит плодить сущности без необходимости
promo
На сайте с 01.09.2004
Offline
164
#6

Поржал с ТС, где он пишет в поддержку про употребление... :D

R
На сайте с 28.06.2015
Offline
73
#7
suffix:
А Вас что больше возмущает ?
Что заблокировали без вашего уведомления ? -- (Так на шареде хостер имеет и право и возможность так делать)

Да хостеры сейчас на все имеют право. Сегодня бинг, завтра яша, послезавтра гугл блокнут. А додики деньги потом платят оптимизаторам, когда у сайта проблемы возникают.

suffix:
Или за потерю поискового трафика переживаете ? -- (Так нет оттуда трафика на русские сайты)

У меня идут человек 10-20 в день. Дело ведь не конкретно, есть или нет трафик. Завтра последуют примеру бегета, который вообще запретил индексацию поисковикам из-за нагрузки.

---------- Добавлено 18.06.2020 в 13:27 ----------

evgeniymx:
есть такие клиенты, которым надо и bing, и всякие ноунеймы вроде aspigel, короче всякая шалупонь, которая своими запросами мешает нормальному, рядовому клиенту, а иногда очень мешает

Если для вас майкрософт это шалупонь, компания, у которой миллиардные сервисы, ну ставьте тогда Bolgenos.

Для вас - нормальный рядовой клиент, это ЛОХ. Которому можно сразу втюхать дедик для одностраничника и предложить "совсем дешево" раскрутку, ну чтоб улучшить видимость в поисковиках.

promo
На сайте с 01.09.2004
Offline
164
#8
reyicapow:
Завтра последуют примеру бегета, который вообще запретил индексацию поисковикам из-за нагрузки

Можно подробнее с этого места и пруфами?

R
На сайте с 28.06.2015
Offline
73
#9
Andreyka:
В TOS хостера есть упоминание о блокировки ботов? Или в публичной оферте?

Хз. Сам портянки эти, которыми жопу подтереть не листал. Если бы было, то скорее всего, сразу бы ткнули носом, мол ниче не знаем, вон у нас в офёрте прописано, что поисковым роботам доступ закрыт, а заходить можно на свой сайт только с locahost.

Саппорт лишь извинялся.

---------- Добавлено 18.06.2020 в 13:36 ----------

promo:
Поржал с ТС, где он пишет в поддержку про употребление... :D

А я реально подумал, что саппорт угарает. Ну как можно лочить поисковик. Да еще и по умолчанию. Зато у меня по логам тут же школота ломанулась через exit-ноды tor'a в 20 потоков парсить. Их то никто не поблочил.

---------- Добавлено 18.06.2020 в 13:43 ----------

promo:
Можно подробнее с этого места и пруфами?

https://talk.pr-cy.ru/topic/26571-budte-vnimatelny-s-beget/

Но, я находил на каком-то другом хостинг обзоре типо hosting101. Может уже ссылки стухли или подтерли. Там даже был офиц. коммент от бегета, сначала тоже говорили, типо переходите на свои сервера, потом вроде извинялись.

lealhost
На сайте с 07.06.2014
Offline
126
#10

Больше интересуют мнения, чем же таким может мешать бингбот


# cat access.log-20200618 | wc -l
1668779

# cat access.log-20200618 | grep "+http://www.bing.com/bingbot.htm" | wc -l
113249

# cat access.log-20200618 | grep "+http://yandex.com/bots" | wc -l
109748
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий