Нужна помощь с robots.txt

-gds-
На сайте с 17.08.2011
Offline
12
430

Здравствуйте! Возникла проблема с robots.txt.

Суть: хочу скрыть от индексации теги архивы, короче все кроме статей.

Изначатьно ссылки на статьи имели вид …/?p=1, на архивы … /?m=1 и соответственно теги …/?tag=тэг. Собственно, в «Вебмастере» Яндекса они так и обозначаются, но в других случаях, с не давних пор перевел в нормальный вид "ЧПУ" (используя плагин). Задал в файле робота соответствующие, на мой взгляд, нужному мне скрытию от индексации параметры, но нечего не произошло (бот был 15го и кол-во страниц в индексе не поменялось).

Прошу помочь увидеть ошибку. CMS - WP.

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Disallow: /?m=*

Disallow: /?paged=*

Disallow: /?tag=*

Disallow: /page

Disallow: /tag

Disallow: /2011

Disallow: /2012

Disallow: /2013

Disallow: /2014

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Disallow: /?m=*

Disallow: /?paged=*

Disallow: /?tag=*

Disallow: /page

Disallow: /tag

Disallow: /2011

Disallow: /2012

Disallow: /2013

Disallow: /2014

Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml

Заранее спасибо!

fivefinger
На сайте с 27.01.2011
Offline
87
#1

-gds-, правильно ли я Вас понимаю, Вам нужно, чтобы страницы вида "/?p=1" и "/?m=1" были удалены из выдачи? Если у Вас таких страниц много, то удаляться из индекса они будут достаточно долго. Ждите и все будет, если не хотите ждать то можете ручками помочь поисковикам удалить закрытые от индексации урлы.

EvilMinds - пока другие делают вид, мы работаем на результат. (/ru/forum/936293)
K
На сайте с 31.01.2001
Offline
737
#2
-gds-:
но нечего не произошло (бот был 15го и кол-во страниц в индексе не поменялось).

Нужно подождать дней 10.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
-gds-
На сайте с 17.08.2011
Offline
12
#3
fivefinger:
-gds-, правильно ли я Вас понимаю, Вам нужно, чтобы страницы вида "/?p=1" и "/?m=1" были удалены из выдачи? Если у Вас таких страниц много, то удаляться из индекса они будут достаточно долго. Ждите и все будет, если не хотите ждать то можете ручками помочь поисковикам удалить закрытые от индексации урлы.

Ну почти, "/?p=1" должны остаться, а вот "/?m=1", "/?paged=*" и /?tag=* в выдаче быть не должны.

Подожду как сказали, думал бот в тот же день исключает.

S
На сайте с 28.10.2005
Offline
319
#4

Намудрили вы, сюда зайдите и проверьте, что у вас открыто, а что закрыто http://webmaster.yandex.ru/robots.xml

K
На сайте с 31.01.2001
Offline
737
#5
-gds-:
Disallow: /?m=*
Disallow: /?paged=*
Disallow: /?tag=*

Кстати, звездочки на конце не нужны.

-gds-
На сайте с 17.08.2011
Offline
12
#6

Все разрешилось! Всем спасибо!:)

Disallow: /*?* закрывал нужные страницы😡

semenov:
Намудрили вы, сюда зайдите и проверьте, что у вас открыто, а что закрыто http://webmaster.yandex.ru/robots.xml

Да уж, намудрил, как я раньше не додумался использовать этот инструмент... Спасибо☝

K
На сайте с 31.01.2001
Offline
737
#7
-gds-:
с не давних пор перевел в нормальный вид "ЧПУ"

Непонятно, ведь теперь у вас ЧПУ, никаких знаков ? быть не должно. Почему бы их не запреетить?

-gds-
На сайте с 17.08.2011
Offline
12
#8
Kost:
Непонятно, ведь теперь у вас ЧПУ, никаких знаков ? быть не должно. Почему бы их не запреетить?

В "Вебмастере" Яндекса ссылки изображаются по старому, поэтому параллельно запрещал к примеру старый вид ссылки на архив "/?m=" и новый, соответствующий ей ЧПУ "/2011".

Надеюсь со временем вид ссылок в яндексе поменяется на нормальный.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий