Хостинг блокирует поисковый бот Яндекса - это нормально??? - Хостинг и серверы для сайтов - Сайтостроение - Форум об интернет-маркетинге

Seona · 2011-02-09T17:55:58.0000000Z

Трастовый двухлетний сайт, у которого никогда не было никаких проблем с индексацией, сегодня полностью вылетел из индекса, в Вебмастере напротив сайта надпись: "Сайт не проиндексирован из-за настроек сервера, на котором он находится. ?( Из-за настроек сервера, на котором находится сайт, робот Яндекса не мог получить к нему доступ и сайт не был проиндексирован. Уточните у Вашего хостинга не был ли блокирован IP робота 77.ХХ.ХХ.ХХ при обращении к сайту." Написала тикет (#1) в техподдержку хостинга (HostLife.net) с посьбой решить проблему. Публикую здесь дальнейшую переписку для понимания сути вопроса: #2 Ответ (Специалист службы поддержки) Возможно вышеуказанный ip был заблокирован firewall`ом сервера в результате многократных обращений к серверу. В настоящий момент ip 77.ХХ.ХХ.ХХ исключен из черного списка сервера. Вам необходимо отправить запрос на повторную индексацию сайта. #3 Сообщение Вы что, заблокировали робот Яндекса??? И это в порядке вещей? #4 Ответ (Специалист службы поддержки) Информация по поводу заблокированных ip доступна только администратору сервера. В результате Вашего запроса указанный ip был принудительно добавлен в \"белый\" список сервера. Проверьте решило ли это проблему. Блокировка ip могла произойти только вследствие ошибки. #5 Сообщение Чьей ошибки??? #6 Ответ (Системный администратор) Мы никогда намеренно не блокируем работу поисковых систем, т.к. мы заинтересованы в успешности проектов наших клиентов. Речи о блокировки ip поискового бота не шло, Вам сказали, что данный ip был занесен в список доверенных и не может быть заблокирован. Если у Вас возникнут дополнительные вопросы, обращайтесь. Удачного дня! #7 Сообщение Вы сами-то поняли, что сейчас написали? Речь шла как раз о блокировке IP поискового робота Вашими серверами, и это уже достаточно серьезная проблема, поскольку наносит мне прямой материальный ущерб. #8 Ответ (Системный администратор) С чего Вы взяли, что бот был заблокирован? То, что бот не смог проиндексировать Ваш сайт, еще не значит, что его IP был заблокирован на сервере. #9 Сообщение Из ответа Вашего коллеги: \"Возможно вышеуказанный ip был заблокирован firewall`ом сервера в результате многократных обращений к серверу. В настоящий момент ip 77.ХХ.ХХ.ХХ исключен из черного списка сервера. .\" #10 Ответ (Специалист службы поддержки) Прошу обратить Ваше внимание на слово \"возможно\". Напрямую нет возможности просмотреть ip заблокированные сервером. Есть возможность принудительно добавить ip в белый список сервера, что и было сделано в результате Вашего запроса. #11 Сообщение Вот что мне ответила техподдержка Яндекса на мой запрос: \"С 18.01.11 по 07.02.11 у нашего робота возникали проблемы при соединении с Вашим сайтом, так как блокировался доступ индексирующему роботу со стороны Вашего хостинга. В связи с этим сайт не был проиндексирован. В настоящий момент данной проблемы не возникает, сайт скоро начнет индексироваться и затем должен появиться в результатах поиска в течение 2 недель.\" #12 Ответ (Руководитель службы поддержки) Мы не можем нести ответственность за работу ботов поисковых систем. На серверах установлена автоматическая система защиты, вследствие которой IP бота яндекса возможно и был заблокирован. Вам нужно корректно настроить параметры для индексации сайта ботами поисковых систем с помощью файла robots.txt, создать xml-карту сайта и открыть для индексации только ее, тогда подобные проблемы для Вас будут исключены. Подробную информацию о корректной настройке индексации сайта поисковыми машинами Вы можете найти в сети Интернет. Если у Вас возникнут дополнительные вопросы, обращайтесь. Будем рады помочь! После ТАКОГО ответа сочла дальнейшую переписку просто бессмысленной. Хочу понять - это вообще адекватные ответы и действия хостера, или я чего-то недопонимаю? Может, кто-нибудь сталкивался с подобной проблемой, подскажите, как действовать в такой ситуации? За две недели (в лучшем случае) я потеряю посетителей, репутацию и деньги из-за действий данного хостера. Кстати, у меня несколько сайтов на разных хостингах, в том числе и более дешевых, но проблемы возникают исключительно с HostLife.

M

92

megadimon

11 февраля 2011, 07:11

#21

Solmyr:
Встречал хостеров, которые реагируют на данную проблему еще более спокойно чем в примере у ТС. На самом деле, ИМХО блокирование ботов ПС хостингом, это один из случаев, после которого от хостера надо уходить невзирая ни на какие другие обстоятельства. Блокируют ПС они не от хорошей жизни, а от перегруженности серверов, дальше проблемы будут идти одна за одной.

а кто Вам сказал что кто-то вообще блокировал бота? :) спорю на 100 баксов, что ТС даже логи не проверил, а раздул тут панику как будто у него дом отобрали 🍿

560

Himiko

11 февраля 2011, 08:32

#22

megadimon:
ТС даже логи не проверил, а раздул тут панику как будто у него дом отобрали 🍿

Какие логи нужно смотреть на хостинге?

Яндекс говорит, что бот не смог достучаться до сайта. Или это проблема ТС?

Да и если бот блокировался фаерволом, то никакие логи ТСу ничего не покажут.

Профессиональное администрирование серверов (https://systemintegra.ru). Круглосуточно. Отзывы (/ru/forum/834230) Лицензии (http://clck.ru/Qhf5) ISPManager,VDSManager,Billmanager e.t.c. по низким ценам.

M

92

megadimon

11 февраля 2011, 09:36

#23

Himiko:
Какие логи нужно смотреть на хостинге?
Яндекс говорит, что бот не смог достучаться до сайта. Или это проблема ТС?
Да и если бот блокировался фаерволом, то никакие логи ТСу ничего не покажут.

Было такое, что бот якобы не мог достучаться, но почему-то в access лог я его видел :)

Яндекс Вебмастер вынес товарные фиды в отдельный раздел

Все что нужно знать о DDоS-атаках грамотному менеджеру

Хостинг блокирует поисковый бот Яндекса - это нормально???