Вопрос про robots.txt

V
На сайте с 26.01.2011
Offline
55
570

Есть сайт салона красоты http://www.makisalon.ru

У салона несколько филиалов и одна и та же услуга в разных филиалах дублируется как отдельная страница, меняется только шапка страницы. Из-за этого на сайте очень много дублированных страниц. Так же у сайта огромное количество пустых страниц. Поэтому первым делом я запретил к индексации все пустые и дублированные страницы в robots.txt. (http://www.makisalon.ru/robots.txt). Но прошло уже больше полугода, а Яндекс и Гугл по прежнему индексируют как пустые так дублированные страницы. Я думаю из-за этого сайт находится под фильтром из-за чего не растут позиции и ТИЦ. Подскажите, почему поисковики до сих пор индексируют страницы запрещенные к индексации в robots.txt? Может я что-то не так сделал?

nik_kent
На сайте с 05.02.2008
Offline
178
#1
Valorous:
Подскажите, почему поисковики до сих пор индексируют страницы запрещенные к индексации в robots.txt? Может я что-то не так сделал?

Может они сходят с ума от почти 2000 строк в robots.txt?

Попробуйте для Яндекса DelURL, он поможет.

С уважением, Николай.
Aglomerat
На сайте с 02.08.2010
Offline
29
#2

я такой большой роботс первый раз вижу) не проще было на ненужные страницы добавить CONTENT="NOINDEX, NOFOLLOW" как я понял это "все (в папке), кроме одной"??

A
На сайте с 09.02.2010
Offline
32
#3

Valorous, запишите и запомните раз и навсегда, слишком большие файлы robots.txt (больше 32Кб) считаются полностью разрешающими. Хелп Яндекса вам в помощь.

Rookee (http://www.rookee.ru/) - вместе веселей!
V
На сайте с 26.01.2011
Offline
55
#4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий