Hostgator банит робота Yandex

взял как то во франции у крупного хостера, как тока посещалка стала человек 30-50 так сразу suspended - высокая нагрузка :)

Да, ограничение на кол-во файлов есть (250 000), если укладываешься в этот лимит, то норм. Ограничений по Гб и трафику, по моему, реально нет. Что касается нагрузки на CPU - у меня там один СДЛ, посещалка 4к в сутки (в осенне-зимний период до 7к), никаких проблем с нагрузкой никогда не возникало, в отличие от РБК - когда хостился там, то уже при 500 униках начали отключать по нагрузке и предлагать VPS, потому и сбежал к гаторам. Эдалт, слышал, не приветствуется, но если его нет то все норм. В общем, мне кажется, что 100 твоих ГС прекрасно уживутся.

Пообщался только что с сапортом хостгатора в чате посредством гуглопереводчика, вот такой корявый диалог вырисовался:

Получается на сегодняшний день никаких блокировок нет. Хотя вот эта фраза

Они яндекс директ блокируют что ли? Видят в нем конкурента гугл эдсенсу?

У меня на сайте есть Директ, ничего не блокируется и бот директа тоже. Что касается этой фразы

То, мне кажется, вы просто по началу не поняли друг друга. Он говорит, что у поддомена direct.yandex.ru нет разрешения на сервер хостгатора (в смысле, что он там не расположен), а имеет разрешение или решение (по русски просто расположен) на IP 213.180.204.26 (ip Яндекса). Другими словами, что direct.yandex.ru - это поддомен yandex.ru. Просто парень из поддержки не сразу понял вопроса и вы говорили о разных вещах.

уфф... не знаю, успею ли вам помочь, однако: ситуация не изменилась, стало только очень хуже:

Долгое время (более 3-х лет) размещаюсь у ХостГатора (несколько не очень слабеньких сайтов, один из которых - сайт информ-агентства). До момента 3 дня назад я был во всем доволен хостингом, рекомендовал налево-направо. Думал, что лучше уже не найти для текущих моих запросов.

Однако.. теперь говорю: валите все с гатора, пока не поздно, особенно, если вы работаете в расчете на русскоязычную аудиторию и вам особенно важна индексация в Yandex!

Только один пример: мой новостной сайт - постоянно индексируется в минуты - благодаря подключению к Яндекс.Новостям, постоянный уверенный стабильный рост посещаемости ... до момента апреля сего года (посмотрите даты первых постов этого топика)

Далее - к сему моменту спад посещаемости более, чем в 3.5 раза!!!

Я не сразу понял причины - на хостинг грешил в последнюю очередь, пока все не стало очень критично и наконец-то в панели Яндекс.Вебмастер не появилось тревожное сообщение:

Уточнил, выяснил: роботы Яндекса блокируются, якобы

Особенно меня удивила поддержка, которая до сих пор все вопросы решала в секунды и обязательно в пользу клиентов - теперь не помогли никакие доводы - они изменились до неузнаваемости, даже в текстовых ответах была заметна некоторая нервозность, они резонно напряглись, боялись, что их теперь уже слишком очевидную продажность гуглу не поймут.

А мои сайты просто выпали из индекса, совсем - все на аккаунте.

Цитата из моего обращения в Яндекс по данному вопросу:

Мой итог: я ухожу с гатора совсем и никому никогда их уже не порекомендую: сейчас я благодаря им уже потерял и еще потеряю много времени на переносе сайтов

а также могу потерять реальные деньги.

В связи с этим вопрос:

Знает ли кто из пользователей других западных хостеров о схожих проблемах? Кто чем пользуется, можно отписаться хоть в личку, хоть здесь. Только пишите, если ЕСТЬ проблемы, а не когда их нет, пожалуйста.

maximoom добавил 21.07.2011 в 21:47

ошибся - Цитата из ответа на мое обращение, конечно

Так ведь должны же были быть какие-то симптомы. Вот вы говорите, что не сразу поняли причины такого падения и только сейчас осознали, что во всем виноват хост. Так ведь это должно же было как-то реально проявляться, были же какие-то симптомы. К примеру, необоснованный вылет из индекса большого количества страниц, падение позиций и, как следствие, падение трафика. Или у вас индексация и позиции все это время были без особых изменений, а трафик взял и упал? Тогда где логика и причем здесь хост? Трафик с апреля не только у вас падает - лето...., это явление глобальное.

С апреля слежу за темой, но реального подтверждения блокировки гатором ботов Яндекса пока не вижу. Периодически смотрю логи - ходит Яндекс по сайту. Либо на гаторе блокируют Яндекс-боты как-то избирательно и до меня очередь не дошла? Есть реальные люди, которые ушли с гатора по этой причине?

Какой смысл перетерать это уже в десятый раз здесь? Вас ведь человек предупредил, что в логах Я.Вебматстера сообщение о блокировании ботов ПС Яндекс.

Конечно, если Вы хотите, можете еще подождать и посмотреть за своими сайтами здесь - выпадут ли. Но, что-то мне подсказывает, что сайтов на хостгаторе у Вас нет, и Вы просто флудите.... эксперименты за чужой счет у нас в большом почете как я вижу...

На хостгаторе сотни наших сайтов и подобные сообщения должны были появиться ни в одном аккаунте. Отсюда и вопрос - были ли подобные сообщения в других аккаунтах? Не могут же гаторы блокировать боты Яндекса избирательно.

На хостгаторе полтора года, потому и слежу за темой. Никого и никаких экспериментов я ставить не просил. Просто хочу выяснить, что это - локальные глюки хоста или всеобщая тенденция?

Я ухожу - уже ушел на 70% - за выходные планирую уйти на все 100, иначе - деньги потеряю.

Притом, что Яндекс пробил тревогу, а Гаторы сами признались и подтвердили:

Проанализировав ситуацию, я решил, что: 1)избирательно по ботам 2)избирательно по времени

Кстати, именно поэтому привел статистику по падению именно новостного ресурса - там число юников зависит не столько от числа проиндексированных сообщений, сколько от числа своевременно проиндексированных новых-актуальных именно сейчас сообщений - специфика области. Чем раньше их учел бот - тем раньше они будут появляться в выдаче по запросу людей в Яндексе - тем больше ежедневный трафик. Проиндексированы хотя бы на час позже - и они уже никому неинтересны.

Иными словами - была бы такая же жесткая блокировка как сейчас с самого начала - мы бы ушли в ноль моментально, за пару недель.

Но - гатор блокировал все умно - постепенно, с повышением дозы - без предупреждения, подло - если сказать по сути - потому и падение поначалу напоминало "сезонный спад"

Верхний пик посещаемости пришелся на последнюю неделю марта, далее - волнообразный, но уверенный спад.

Вплоть до июня мне казалось это сезонным явлением, а позже сказалась загруженность другими проектами, времени подробно во все вникнуть не было.

Итог - ни одной страницы в поиске из более чем 110000 загруженных роботом. И это все - результат только по одному сайту.

Ну и - я уже цитировал рекомендацию из службы Я.Новости в ответ на мой вопрос, необходима ли смена хостинга:

Вам пока повезло, искренне желаю, чтобы не только пока, мне - так не повезло.

Сейчас все сайты мои на хостгаторе открываются слишком долго, некоторые не открываются вовсе. По ФТП заходит в корневой каталог, дальше - сбрасывает соединение. В С-панель зайти не могу. На сайт хостгатора заходит нормально. Вот пытаюсь выяснить у сапорта в чем дело.

Написали вот такое

Проклятье, в пятницу вечером и проблемы со всеми сайтами :(