Индексация нового сайта гуглом

12 3
Villis
На сайте с 29.07.2011
Offline
76
2086

Друзья, новый сайт был выложен в инет и в роботсе запрещен к индексации около месяца. Теперь основные работы завершены и индексация разрешена, однако гугл в вебмастере уже неделю пишет, что сайт запрещен к индексации в роботсе. Смотрел загруженный роботс - все ок, проверял страницы на доступность - пишет ок. В чем здесь может быть дело? Даже сайтмап индицируется с ошибками, сколько в нем страниц, столько и ошибок - страница запрещена в роботсе. Или мало времени прошло?

U
На сайте с 09.04.2015
Offline
28
#1

По опыту - за 4 месяца после запрещения индексации в гугле проиндексировано 2 страницы. В этом смысле с яндексом проще (он успел проиндексировать все). Хотя при начале разрешения гугл 1-ю страницу проиндексировал быстрее. Маленькое но: сайт заявлен как основное зеркало ранее существовавшего

TES
На сайте с 22.07.2007
Offline
589
TES
#2

Недавно столкнулся с подобным. В сниппете для страниц писал что описание запрещено в роботс, хотя ничего там не было. Это глюк был, прошел сам. Возможно и у вас так же.

P
На сайте с 27.10.2014
Offline
221
#3

Запускал недавно новый сайт, была такая же проблема, если кратко, то последовательность действий такая:

1. Заходите на вкладку "Инструмент проверки фаила robots.txt";

2. Внизу есть красная кнопка "проверить" (через Google Bot);

3. Вбиваете адрес нового роботс, жмете;

4. !!! Вверху, где "Дата последней версии" нажимаете черный треугольник вниз - вываливается список всех когда-либо загруженных роботсов, просмотрите там все, включая последний...

5. Тот фаил, где "Ошибок:0 Повреждений:0" - выбираете и нажимаете кнопку "Отправить"

Через пару дней заходите на эту же страницу - видите новый нормальный роботс. Еще через пару дней появится главная в выдаче вместе со старой, заблокированной в роботс.

Через неделю старая пропадет - началась индексация. Ну а дальше скорость индексации уже от разных факторов зависит.

P.S.: Если все было и так проделано в таком порядке -- просто ждите...иных методов нет...У меня был такой же глюк - эта последовательность действий помогла, причем из списка я выбрал не последний роботс, а какой-то из десятка ранее загруженных :-)

Villis
На сайте с 29.07.2011
Offline
76
#4

Pliny, спасибо за ответ. Однако роботс стоит без ошибок и предупреждений.

Может нужно немного социальных сигналов?

XPraptor
На сайте с 15.10.2004
Offline
333
#5

Я даже не представляю ситуацию для вменяемого вебмастера, когда можно выкладывать сайт не готовый в сеть, да еще и закрывать его при этом в роботсе - жесть.

P
На сайте с 27.10.2014
Offline
221
#6

Villis, и все же...какая была последовательность действий? Как понимать, "новый сайт был выложен в инет и в роботсе запрещен к индексации около месяца"?

Я подразумевал, что Вы в самом начале закрыли сайт от индексации, начиная с первой страницы, и, только когда сайт был готов, сняли запрет, залив новый robots.txt...

Если это было сделано в таком порядке, то, несмотря на то, что WMT показывает вам 0 ошибок и 0 предупреждений, я бы вам порекомендовал проделать те шаги, которые я описал.

Если же вы выложили к примеру 100 страниц неготового сайта в сеть, после закрыли от индексации, а после опять открыли, то вам придется долго ждать переиндексации всего сайта, так как Google попросту не понял что ему делать.

Есть другой вариант: посмотрите что будет, если вы загоните 1 или несколько страниц через гугл бот - появится ли сайт в выдаче? Имеется ввиду "посмотреть как Google Bot".

P.s.: просто я возможно не понял, что у вас на самом деле произошло. Изложите по пунктам и попробуйте все ж скормить гуглу пару страниц.

mmmmm150
На сайте с 10.07.2011
Offline
103
#7
XPraptor:
Я даже не представляю ситуацию для вменяемого вебмастера, когда можно выкладывать сайт не готовый в сеть, да еще и закрывать его при этом в роботсе - жесть.

Обычно такие случаи возникают при работе с партнёрскими магазинами. 🤪 Прикрутил шоп к сайту... и дальше начинаешь колдовать с функциями магазинов, сео и т.д. и т.п.

В подобных случаях я делал так:

1. добивал статейки через аддурилку Гугла.

2. делился рандомными записями через гугл+

3. на след. день часть страниц уже в индексе. остаётся только подождать немного - и всё ок 🍿

всем добра :)
Villis
На сайте с 29.07.2011
Offline
76
#8
XPraptor:
Я даже не представляю ситуацию для вменяемого вебмастера, когда можно выкладывать сайт не готовый в сеть, да еще и закрывать его при этом в роботсе - жесть.

Судя по Вашему посту, Вы вменяемый ВМ? Тогда скажите как надо было делать?

---------- Добавлено 09.04.2015 в 21:13 ----------

Pliny:
Villis, и все же...какая была последовательность действий? Как понимать, "новый сайт был выложен в инет и в роботсе запрещен к индексации около месяца"?

Да, именно так и было сделано. Новый сайт залил на хостинг с запретом индекса всех ПС.

Касательно второй части, я уже сегодня так и сделал. Загнал пять страниц, посмотрим схавает ли. Спасибо.

S0
На сайте с 09.09.2013
Offline
123
#9

XPraptor, не пойму, почему нельзя ограничить по IP, а потом выложить, вот пример, сделали сайт и теперь выкладываем по пару страничек в неделю..

Домену 19 дней и состоит пока из 3 страниц (коммерция, конкуренция ниже среднего):

png IMG_09042015_201614.png
Villis
На сайте с 29.07.2011
Offline
76
#10

SE-0, а какая разница как блокировать бота, в аштиаксесе или роботсе, через айпи или через регулярную директиву? Имхо, можно и так и так.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий