Хостинг блокирует поисковый бот Яндекса - это нормально???

12 3
S
На сайте с 29.06.2010
Offline
5
4792

Трастовый двухлетний сайт, у которого никогда не было никаких проблем с индексацией, сегодня полностью вылетел из индекса, в Вебмастере напротив сайта надпись:

"Сайт не проиндексирован из-за настроек сервера, на котором он находится. ?( Из-за настроек сервера, на котором находится сайт, робот Яндекса не мог получить к нему доступ и сайт не был проиндексирован. Уточните у Вашего хостинга не был ли блокирован IP робота 77.ХХ.ХХ.ХХ при обращении к сайту."

Написала тикет (#1) в техподдержку хостинга (HostLife.net) с посьбой решить проблему. Публикую здесь дальнейшую переписку для понимания сути вопроса:

#2 Ответ (Специалист службы поддержки)
Возможно вышеуказанный ip был заблокирован firewall`ом сервера в результате многократных обращений к серверу. В настоящий момент ip 77.ХХ.ХХ.ХХ исключен из черного списка сервера.
Вам необходимо отправить запрос на повторную индексацию сайта.

#3 Сообщение
Вы что, заблокировали робот Яндекса??? И это в порядке вещей?

#4 Ответ (Специалист службы поддержки)
Информация по поводу заблокированных ip доступна только администратору сервера. В результате Вашего запроса указанный ip был принудительно добавлен в \"белый\" список сервера. Проверьте решило ли это проблему.
Блокировка ip могла произойти только вследствие ошибки.

#5 Сообщение
Чьей ошибки???

#6 Ответ (Системный администратор)
Мы никогда намеренно не блокируем работу поисковых систем, т.к. мы заинтересованы в успешности проектов наших клиентов. Речи о блокировки ip поискового бота не шло, Вам сказали, что данный ip был занесен в список доверенных и не может быть заблокирован.
Если у Вас возникнут дополнительные вопросы, обращайтесь. Удачного дня!

#7 Сообщение
Вы сами-то поняли, что сейчас написали? Речь шла как раз о блокировке IP поискового робота Вашими серверами, и это уже достаточно серьезная проблема, поскольку наносит мне прямой материальный ущерб.

#8 Ответ (Системный администратор)
С чего Вы взяли, что бот был заблокирован? То, что бот не смог проиндексировать Ваш сайт, еще не значит, что его IP был заблокирован на сервере.

#9 Сообщение
Из ответа Вашего коллеги: \"Возможно вышеуказанный ip был заблокирован firewall`ом сервера в результате многократных обращений к серверу. В настоящий момент ip 77.ХХ.ХХ.ХХ исключен из черного списка сервера. .\"

#10 Ответ (Специалист службы поддержки)
Прошу обратить Ваше внимание на слово \"возможно\". Напрямую нет возможности просмотреть ip заблокированные сервером. Есть возможность принудительно добавить ip в белый список сервера, что и было сделано в результате Вашего запроса.

#11 Сообщение
Вот что мне ответила техподдержка Яндекса на мой запрос:
\"С 18.01.11 по 07.02.11 у нашего робота возникали проблемы при соединении с Вашим сайтом, так как блокировался доступ индексирующему роботу со стороны Вашего хостинга. В связи с этим сайт не был проиндексирован.
В настоящий момент данной проблемы не возникает, сайт скоро начнет индексироваться и затем должен появиться в результатах поиска в течение 2 недель.\"

#12 Ответ (Руководитель службы поддержки)
Мы не можем нести ответственность за работу ботов поисковых систем.
На серверах установлена автоматическая система защиты, вследствие которой IP бота яндекса возможно и был заблокирован.
Вам нужно корректно настроить параметры для индексации сайта ботами поисковых систем с помощью файла robots.txt, создать xml-карту сайта и открыть для индексации только ее, тогда подобные проблемы для Вас будут исключены. Подробную информацию о корректной настройке индексации сайта поисковыми машинами Вы можете найти в сети Интернет.
Если у Вас возникнут дополнительные вопросы, обращайтесь. Будем рады помочь!

После ТАКОГО ответа сочла дальнейшую переписку просто бессмысленной.

Хочу понять - это вообще адекватные ответы и действия хостера, или я чего-то недопонимаю?

Может, кто-нибудь сталкивался с подобной проблемой, подскажите, как действовать в такой ситуации? За две недели (в лучшем случае) я потеряю посетителей, репутацию и деньги из-за действий данного хостера.

Кстати, у меня несколько сайтов на разных хостингах, в том числе и более дешевых, но проблемы возникают исключительно с HostLife.

[Удален]
#1

Hostlife портится потихоньку... Цена-качество уже не те... Тоже от них ушёл осенью, т.к. мой VDS был в дауне 5 суток!!!

А по поводу робота - это не в порядке вещей, просто искуственный интелект какого-то анти-флуд ПО, которое не стоило бы ставить на сервер)

C2
На сайте с 14.07.2009
Offline
83
#2

нет, это не нормально. Обычно вносят ботов ПС (таких как Гугель или Яндекс) в вайтлист фаервола, чтобы их никогда не забанили разные автоматические мегасистемы.

PS Пропишите в robots.txt строчку

Crawl-delay: 20

PSS А вот на разных зарубежных хостингах - вполне нормальная ситуация, когда банят яндексовского бота, он у них в буржунете проходит как badbot :)

[Удален]
#3
Seona:
Хочу понять - это вообще адекватные ответы и действия хостера, или я чего-то недопонимаю?

Это неадекватные настройки у хостера. Главное, чтобы вы поняли, что надо искать нормальный хостинг.

S
На сайте с 29.06.2010
Offline
5
#4

Спасибо всем за советы.

PS Пропишите в robots.txt строчку
Crawl-delay: 20

Спасибо, попробую

Главное, чтобы вы поняли, что надо искать нормальный хостинг.

Да я-то это давно уже поняла, но, к сожалению, это пока невозможно по техн. причинам (проблемы с кодировкой БД)

firstman
На сайте с 08.01.2010
Offline
173
#5

Seona,

Вы нервозно наехали на ТП, их техподдержка вполне корректно Вам все написала - вообще ботов не блокируем, а этот слушай произошел в следсивии недоразумения... добавили IP в белый список.

Вы же начали скандалить и вторую половину переписки читать уже нет смысла.

Супер IP и Proxy для работы c SEO и другими задачами (http://www.primeproxy.net)!
[Удален]
#6
Seona:
(проблемы с кодировкой БД)

Это решается одной строчкой в настройках. На форуме уже обсуждали.

galkahost
На сайте с 16.11.2010
Offline
44
#7

Это один из немногих случаев, когда не добдеть лучше, чем перебдеть :)

Надёжный хостинг с персональным подходом (http://www.galkahost.com). VDS на 30% дешевле с промо кодом noadmin.
S
На сайте с 29.06.2010
Offline
5
#8
firstman:
Seona,

Вы нервозно наехали на ТП, их техподдержка вполне корректно Вам все написала - вообще ботов не блокируем, а этот слушай произошел в следсивии недоразумения... добавили IP в белый список.

Вы же начали скандалить и вторую половину переписки читать уже нет смысла.

Мне бы очень хотелось посмотреть на Вашу не нервозную реакцию, когда непонятно за что по вине хостинга банят сайт, в который вложено много сил и средств, лишая вас тем самым определенного дохода.

Техподдержка же, вместо извинений, вполне корректно написала что-то, что лично я вообще не поняла. Прочитайте внимательно их ответы - то банили IP, то не банили, то не знают, где смотреть, что забанили, в конце вообще попытались все на мои настройки свалить.

А где Вы увидели скандал и наезд с моей стороны? Просто уточняющие вопросы на запутанные и взаимоисключающие ответы.

Seona добавил 09.02.2011 в 23:24

zagred:
Это решается одной строчкой в настройках. На форуме уже обсуждали.

Там не все так просто и стандартными средствами не получается решить проблему - я уже много чего перепробовала, не помогло.

M
На сайте с 30.08.2010
Offline
92
#9

Seona, если Вы лично не поняли то, что Вам вполне доходчиво объяснил суппорт и сказал что делать дальше, это проблема далеко не хостера. начните искать причину в себе, а не в окружающих.

U
На сайте с 18.04.2010
Offline
14
#10
Seona:
когда непонятно за что по вине хостинга банят сайт, в который вложено много сил и средств, лишая вас тем самым определенного дохода.

Сколько вы платите за хостинг сайта "в который вложено много сил и средств"..?

При массовом хостинге вполне себе рабочая ситуация.."их алгоритмы приняли решение" ..:)

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий