Сайт не был проиндексирован из-за настроек сервера

12
KianoT
На сайте с 04.04.2012
Offline
95
793

Сегодня стал снимать позиции и обнаружилось, что сайт почти весь вылетел из индекса, т.е запросы.

Пошёл в ЯВМ, а там висит такое сообщение:

2014.12.13 у робота Яндекса отсутствовал доступ к сайту, поэтому он не был проиндексирован. Уточните у Вашего хостера, не блокируется ли сейчас IP робота 5.255.253.151 на стороне сервера. Если доступ открыт, то статус сайта обновится в течение 2–3 дней.

Это что ещё за новости?Кто сталкивался с такой ситуацией и как быстро позиции восстановились?

Самое интересное, что я сам не блокировал IP.

Сейчас пойду всё выяснять и снимать блокировку, если такая вообще существует.

Если хостер заблочил робота, то какого хрена это произошло, они что там не в курсе что стоит блокировать, а что нет.

Сайт коммерческой, крупной организации по производству.

Maxim-KL
На сайте с 26.01.2011
Offline
350
#1
KianoT:
Самое интересное, что я сам не блокировал IP.

Хостер мог заблокировать, такое уже случалось и не только у вас. Он возможно и не в курсе что Яшку забанил..)))

Мои услуги по прогонам: ✅Качественный ручной статейный прогон по базе сайтов с ИКС10+ (maximgroups.net/progon-statejnyj) ✅Прогон Максимум - Все включено, 300+ качественных ссылок (maximgroups.net/progon-maksimum)
KianoT
На сайте с 04.04.2012
Offline
95
#2

У кого peterhost, то проверяйте свои сайт в ЯВМ.

Вот ответ из тех.поддержки хостинга:

Дело в том, что на момент блокирования данного IP не было известно, что данный IP принадлежит яндексу. На данный момент, IP 5.255.253.151 не присутствует в блок листе на сервере на котором размещен указанный Вами сайт. Временное блокирование происходит по причине того, что с данного IP было сделано большое количество запросов к сайтам размещенным на сервере виртуального хостинга.

Объясните кто-нибудь, что означает это предложение?

Временное блокирование происходит по причине того, что с данного IP было сделано большое количество запросов к сайтам размещенным на сервере виртуального хостинга.



---------- Добавлено 18.12.2014 в 00:28 ----------

Ребята, вообще беда.

В вебмастере гугла так же обнаружил ошибки подключения.

Google не удалось получить доступ к сайту из-за ошибки подключения сервера.

На графике ошибки начинаются с 10 декабря по 16, кривая ползёт вверх.

Переписываюсь с тех.поддержкой питерхоста, они там совсем ахринели.Просят ip с которых идут запросы.Они блокируют роботов Яндекса и Гугла, ещё и спрашивают ip.

---------- Добавлено 18.12.2014 в 00:31 ----------

Вот только что получил от них потрясающий ответ:

К сожалению, возможности отделить в автоматическом режиме атакующие IP адреса от адресов Google и Яндекс возможности нет. В случае блокировки IP, при запросе клиента и подтверждения что данный IP принадлежит поисковой системе - IP вносится в белый список. Но так как IP адреса индексирующих ботов всегда меняются, еще неизвестные нам адреса могут попасть в черный список.



---------- Добавлено 18.12.2014 в 00:51 ----------

Последний ответ из тех.поддержки питерхоста.

Данная ситуация выглядит следующим образом: Есть сервер виртуального хостинга, на котором размещено n-ное количество клиентов. У каждого клиента, к примеру, есть индексируемый Яндесом или Google сайт. В момент, индексирования, к примеру, получается что с ip адреса поисковой системы образуется огромное количество запросов к серверу виртуального хостинга. В этот, момент осуществляется блокировка IP с которого осуществлены запросы. К сожалению, возможности определить заранее с каких IP адресов будет происходить индексирование не представляется возможным. В данной ситуации, мы можем только исключать IP адреса поисковых систем по запросу клиента из блок листа.

Что посоветуете теперь делать?Платонам я отписал, в Гугл некому писать.Остаётся не понятным, что будет дальше с сайтом, везде ошибки о подключения ботов к сайту.Хостинг ничерта не может сделать.Хелп!

Иван
На сайте с 05.06.2013
Offline
51
#3

Была подобная проблема, когда новый сайт переносили на домен.. Проблема решилась сама в течении 2х недель ( т.е. 2х апдейтов Яндекса) так, что думаю, что вам стоит просто подождать...

з.ы. сайт СМИ, новый на собственной CMS, а хостинг и домен в рег, если это важно

KianoT
На сайте с 04.04.2012
Offline
95
#4
b-enter:
а хостинг и домен в рег, если это важно

После НГ однозначно будем менять хостера, как раз на reg.Питерхост совсем меня разочаровал, то меняют IP сайта без уведомления, то банят роботов яндекса и гугла.Совсем уже!

V1
На сайте с 26.07.2007
Offline
102
#5

Попробуйте явно указать в robots.txt директиву Crawl-delay:

User-agent: Yandex

Crawl-delay: 4 # задает таймаут в 4 секунды

User-agent: Googlebot

Crawl-delay: 4

Так будет красивее и компактнее:

User-agent: *

Crawl-delay: 4

Мало ли к вам в гости роботы других ПС)

я кочегарю Топы Яндекса и Гугла.
N
На сайте с 30.04.2014
Offline
19
#6
vladimir_112:
Попробуйте явно указать в robots.txt директиву Crawl-delay:

User-agent: Yandex
Crawl-delay: 4 # задает таймаут в 4 секунды

User-agent: Googlebot
Crawl-delay: 4

Так будет красивее и компактнее:
User-agent: *
Crawl-delay: 4
Мало ли к вам в гости роботы других ПС)

Там как понимаю иная ситуация, блокируются даже если пс у соседа по серверу будет гулять🤪

infant
На сайте с 15.03.2008
Offline
170
#7

KianoT, меняйте хостера однозначно.

Они слишком закрутили гайки по количеству запросов с IP адреса в лимит времени. Это значит, что проблемы не исчезнут, а будут появляться с завидным постоянством, т.к. поместить все IP адреса поисковых систем проблематично, и за этим вам придется постоянно следить .

Хостинг советовать вам не стану, сами поди подберете, только в reg.ru не берите, пожалеете.

П.С. По индексации и позициям не переживайте, все вернется, как только ПС получат стабильный и нормальный доступ к сайтам.

KianoT
На сайте с 04.04.2012
Offline
95
#8

infant, спасибо за совет, так и поступим.Кроме reg какой ещё порекомендуете?Так-то у меня есть пару сайтов на reg, в принципе не было ни разу таких траблов.

Выше писал, что позиции слетели.Оказалось, что всё на месте, просто совпало с тем, что у меня serp parser перестал корректно снимать позиции именно в этот день.

Платонам в тот день написал, сказали, что проверят информацию по сообщению в вебмастере и блокировке IP.

По кодам ответа, в ЯВМ всё нормализовалось.Роботы без препятствий заходят на сайт.В Гугл до сих пор ошибки сканирования появляются.

Solmyr
На сайте с 10.09.2007
Offline
501
#9

Если хостер блокирует боты ПС от этого хостера надо бежать сразу и не раздумывая. Это кроме прямого огромного ущерба еще и является надежным признаком оверселлинга и использования неквалифицированного технического персонала.

U
На сайте с 31.01.2009
Offline
45
#10

За последнее время добавлял несколько доменов (штук 6) в ЯВ. У всех такая надпись была. И до сих пор на паре висит. Ну на неделю позже проиндексируются, делов-то. Яндексу уже пора говорить «спасибо» только за то, что он соизволяет в индексе новые сайты держать. Пока еще бесплатно. 😂

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий