Помогите разобраться с robots.txt

SeOToM
На сайте с 14.11.2009
Offline
126
287

Не знаю, как получилось, но проиндексировано так: yourdomain.ru/kategoriya1/post.html и yourdomain.ru/kategoriya2/post.html это один и тот же пост в двух разных категориях, но при редактирование поста стоит галочка на одной категории, причем пост доступен тоже в двух вариантах, хрень какая-то... В общем хочу запретить к индексации один из вариантов. Подскажите пожалуйста как? Так: Disallow: /kategoriya2/post.html ?

Ещё вопрос, в выдаче так же присутствуют адреса вида yourdomain.ru/page/1 yourdomain.ru/page/2 и т.д. генерируемые плагином навигации. Их как закрыть? Так: Disallow: */page/ или так: Disallow: /page/ ?

И последний вопрос. В название адреса поста присутствуют категории yourdomain.ru/kategoriya/post.html плагином All in One SEO Pack закрыл к индексации архивы, тэги, в том числе и категории, это может как-то сказаться на индексирование? Закрыл-то давно уже, но в последнее время новые страницы практически не индексируются, от апа к апу +1 -1

albion
На сайте с 07.10.2005
Offline
247
#1
SeOToM:
Подскажите пожалуйста как? Так: Disallow: /kategoriya2/post.html ?

да

SeOToM:
Их как закрыть? Так: Disallow: */page/ или так: Disallow: /page/ ?

и так можно, и так, но лучше второй вариант

SeOToM
На сайте с 14.11.2009
Offline
126
#2
albion:
да

и так можно, и так, но лучше второй вариант

Спасибо!!! А в чем различия? Зачем эта звездочка нужна?

murvuz
На сайте с 14.06.2007
Offline
191
#3
SeOToM:
Спасибо!!! А в чем различия? Зачем эта звездочка нужна?

Спецсимвол '*' означает любую (в том числе пустую) последовательность символов

Источник.

" А не спеть ли нам песню? О любвииии..."
SeOToM
На сайте с 14.11.2009
Offline
126
#4
murvuz:
Спецсимвол '*' означает любую (в том числе пустую) последовательность символов
Источник.

Спасибо! Раньше не встречал эту справку:(

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий