может ли зрекало на robots выбить из индекса?

ceomen
На сайте с 26.06.2009
Offline
97
2373

Вопрос к профессионалам.

Добавил на несколько сайтов в файл robots.txt запись на зеркало по www, таким образом:

Host: www.site.ru

Цель, чтобы страницы с www учитывалсь с основным.

Часть сайтов вышла полность из индекса. Из 300-400 страниц, проиндексированных пол года-год назад, в индексе - 0 !

Это совпадение или я что-то не так сделал?

webmaster-21
На сайте с 24.02.2009
Offline
104
#1

Скорее всего ваши сайты попросту забанились и скорее всего не из-за роботса :)

[Удален]
#2

А могли просто выпасть из индекса. Из-за глюка какого-нибудь. Добавьте его ещё раз в базу Яши через панель вебмастера. Посмотрите, что ответит. Если скажет, что ваш сайт добавлен и скоро начнёт индексироваться, то просто подождите - вернётся. Скажет, что запрещён к индексации - тогда наверное стоит волноваться)

Скорее всего ваши сайты попросту забанились и скорее всего не из-за роботса :-)

Вылет из индекса - это ещё не обязательно бан.

ceomen
На сайте с 26.06.2009
Offline
97
#3
SeoMad:
А могли просто выпасть из индекса. Из-за глюка какого-нибудь. Добавьте его ещё раз в базу Яши через панель вебмастера. Посмотрите, что ответит. Если скажет, что ваш сайт добавлен и скоро начнёт индексироваться, то просто подождите - вернётся. Скажет, что запрещён к индексации - тогда наверное стоит волноваться)


Вылет из индекса - это ещё не обязательно бан.

Довавил сайты через панель яндекса. И главную и вложенные, янд сказал, что добавлен и скоро будет индексироваться.

Т.е не забанены. Непонятна причина, почему сразу несколько не маленьких сайтов, которые давно в индексе, вылетели под 0?

Ссылок с них не продается, да и копипаста и пр - нет.

Думал, что может что-то с зеркальщиком из-за роботса.

nik_kent
На сайте с 05.02.2008
Offline
193
#4

Редиректы случайно не стоят с www.site.ru на site.ru?

С уважением, Николай.
[Удален]
#5

А у вас раньше какое в индексе было? Если раньше на этих сайтах индексировалось зеркало без www, вы прописали в роботсе хост с www, а потом ещё и поставили редирект на www, то сайт и должен был выпасть судя по хелпу яндекса про зеркала - http://help.yandex.ru/webmaster/?id=995297 (п.8).

ceomen
На сайте с 26.06.2009
Offline
97
#6
nik_kent:
Редиректы случайно не стоят с www.site.ru на site.ru?

Не стоят редиректы.

ceomen добавил 27.08.2010 в 00:29

SeoMad:
А у вас раньше какое в индексе было? Если раньше на этих сайтах индексировалось зеркало без www, вы прописали в роботсе хост с www, а потом ещё и поставили редирект на www, то сайт и должен был выпасть судя по хелпу яндекса про зеркала - http://help.yandex.ru/webmaster/?id=995297 (п.8).

Раньше такого не было.

Я изучил про роботс в яндексе мануалы.

По ним получается, что в robots.txt нужно прописывать:

host: site.ru - если www.site.ru является зеркалом (обычно у всех так - site.ru - основной).

Но я потом специально прогнал файлы роботсов у многих популярных порталов, и даже некоторых сео-контор. И фактически у всех в файле роботс стояло:

host: www.site.ru

Получается, они с www видят главным сайт?

Какой же тогда домен правильно продвигать с www или без?

[Удален]
#7
ceomen:

Раньше такого не было.

Получается, они с www видят главным сайт?
Какой же тогда домен правильно продвигать с www или без?

Это как кому удобнее :-)

Если Яндекс уже индексирует какое-то зеркало, например, посчитал, что у вас без www основное, то и в robots.txt лучше именно это зеркало и прописать. Если ещё ничего не индексирует - делайте основным, какое Вам больше нравится, но с неосновного зеркала нужно ставить редирект на первое.

nik_kent
На сайте с 05.02.2008
Offline
193
#8
ceomen:
Не стоят редиректы.

Дайте какой-нибудь из сайтов посмотреть, может конкретнее получится сказать?

ceomen
На сайте с 26.06.2009
Offline
97
#9
SeoMad:
Это как кому удобнее :-)
Если Яндекс уже индексирует какое-то зеркало, например, посчитал, что у вас без www основное, то и в robots.txt лучше именно это зеркало и прописать. Если ещё ничего не индексирует - делайте основным, какое Вам больше нравится, но с неосновного зеркала нужно ставить редирект на первое.

Если сайт в общам-то один, вопрос про www.site.ru и site.ru .

Сайта site2.ru здесь нет.

Разве в таком случае редирект нужен?

ceomen добавил 27.08.2010 в 13:13

nik_kent:
Дайте какой-нибудь из сайтов посмотреть, может конкретнее получится сказать?

Если только в личку.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий