При настройке robots.txt возникли ошибки

12
iguania
На сайте с 10.12.2010
Offline
72
#11

Понял, спасибо :)

Все всегда заканчивается хорошо. Если все закончилось плохо, значит, это еще не конец…
K
На сайте с 15.12.2010
Offline
2
#12

Народ подскажите как в robots.txt на ворд пресе запретить индексацию страниц конкретной рубрики (не самой рубрики а страниц в ней, сами рубрики у меня и так закрыты от индексации плагином). Короче говоря, есть рубрика News и нужно чтобы все страницы этой рубрики не индексировались.

ParserYa
На сайте с 04.10.2010
Offline
29
#13
iguania:
А вы, между прочим, молодой человек, по-моему, кроме того, чтобы поумничать больше ни на что не способны, а были бы способны, то объяснили бы что не так, ведь ветка то форума эта для новичков, и свой бы правильный robots.txt показали... А так вы просто пустослов. Извините, если чем обидел.

Может я и пустослов, но однако Вы задумались и переделали свой роботс.тхт почти правильно.. :)

Anderew
На сайте с 06.03.2010
Offline
125
#14

Подскажите. Вот почитал и совсем запутался. Пишут, что при создании сайта обязательно нужно в robots.txt прописывать:

Host: ***.ru

Как же правильно нужно прописывать с www. или без? Т.е.

Host: ***.ru

или

Спасибо!

Спорим, мощней и дешевле VPS не знаешь? http://www.ihc.ru/?ref=2920
M1
На сайте с 13.02.2007
Offline
165
#15
Anderew:
Как же правильно нужно прописывать с www. или без?

А это как душа пожелает. Выбор за вами. Я всем доменам второго уровня www оставляю, остальным - убираю. Так просто лучше смотрится, на мой взгляд -). Так же стоит склеить эти 2 варианта 301-м редиректом. О том, как это сделать, Вы можете прочитать в прикрепленных темах этого раздела.

Anderew
На сайте с 06.03.2010
Offline
125
#16
Mr 13:
А это как душа пожелает. Выбор за вами. Я всем доменам второго уровня www оставляю, остальным - убираю. Так просто лучше смотрится, на мой взгляд -). Так же стоит склеить эти 2 варианта 301-м редиректом. О том, как это сделать, Вы можете прочитать в прикрепленных темах этого раздела.

Хорошо! Спасибо!

Anderew
На сайте с 06.03.2010
Offline
125
#17

Кто подскажет, правильно ли я сделал?

У меня все страницы-дубли получились 3 У(ровня) В(ложенности), чтобы не закрывать все страницы в robots.txt в ручную, я прописал:

Disallow: /*/*-*

Который, по идее, закрывает все страницы 3УВ, что существуют на сайте?

В этом, собственно и вопрос.

Спасибо за внимание, и С НАСТУПИВШИМ ВСЕХ!

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий