Составить robots.txt

S
На сайте с 16.06.2010
Offline
21
1593

Накосячил во время создания сайта на ВордПрессу с постоянными ссылками: они построены по правилу

/%year%/%monthnum%/%postname%/

Мне нужно закрыть от индексации Архивы, но у архивов ссылки начинаются также (сам сайт тут). Как закрыть в роботс.тхт "архивы" от индекса?

спасибо за рассмотрение моей проблемы :)

http://seosoid.ru/ (http://seosoid.ru/) - блог
kimberlit
На сайте с 13.03.2007
Offline
370
#1

Попробуй:

Disallow: /*/01/$

Disallow: /*/02/$

Disallow: /*/03/$

Disallow: /*/04/$

Disallow: /*/05/$

Disallow: /*/06/$

Disallow: /*/07/$

Disallow: /*/08/$

Disallow: /*/09/$

Disallow: /*/10/$

Disallow: /*/11/$

Disallow: /*/12/$

S
На сайте с 16.06.2010
Offline
21
#2

спасибо :)

закрывает только страницы типа

http://seosoid.ru/2010/06/

но еще надо закрыть и

http://seosoid.ru/2010/06/page/2/

подозреваю, что это правило

Disallow: /*/01/page/*/$

верно?

kimberlit
На сайте с 13.03.2007
Offline
370
#3
Schokk:
но еще надо закрыть и
http://seosoid.ru/2010/06/page/2/
подозреваю, что это правило
Disallow: /*/01/page/*/$
верно?

Можно просто для всех

Disallow: /*/page/

[Удален]
#4

А у меня были раньше проблемы с robots.txt .

baron66
На сайте с 21.10.2010
Offline
54
#5

используйте http://webmaster.yandex.ru/robots.xml

И поймете что и как закрыть

SheldonCooper
На сайте с 24.03.2010
Offline
57
#6

Закрытие в Robots.txt не гарантирует того, что страница не будет проиндексирована.

Тем более, с закрытой страницы вес не передастся по ссылкам. Зачем вам это надо?

Используйте метатег robots на нужных страницах. Для ВП, вроде, в плагине можно сразу ставить этот метатег на разные типы страниц.

Почитайте: http://netpeak.ua/blog/noindex_nofollow/

S
На сайте с 17.12.2008
Offline
300
#7

Была аналогичная проблема, успешно решена.

http://katushenka.ru/robots.txt

15 жирных вечных ссылок с трастовых сайтов с высоким ТИЦ ( https://goo.gl/zd62Qa ) Найдем и устраним SEO-ошибки Вашего сайта, которые мешают продвижению ( https://goo.gl/gHsx1U ) Высококачественный рерайтинг: 50 р. / 1000 знаков ( https://goo.gl/5xDmhE )
A
На сайте с 24.02.2009
Offline
17
#8

Поставьте плагин All in One SEO Pack и сделайте:

Use noindex for Archives – включить

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий