Помогите плиз с robots

MiladyX
На сайте с 23.09.2008
Offline
65
639

Всем привет!

Помогите закрыть от индексации урлы в роботс плиз.

Сайт на WP, урлы такого вида:

http://www.site.ru/rubrika/736/post.html

http://www.site.ru/rubrika2/815/post2.html

736 и 815 это id постов, которые в урле. Понятно, что таких урлов много (и id у всех разный)

Как закрыть в роботс, все посты, в урлах которых имеются эти числа (id) ??

Щас урлы на сайте вида:

http://www.site.ru/novyi-post.html

а старые урлы довольно долго в индексе, и щас на них ошибка 404. Подскажите плиз.

A2
На сайте с 17.11.2009
Offline
52
#1
MiladyX:
Всем привет!
Помогите закрыть от индексации урлы в роботс плиз.
Сайт на WP, урлы такого вида:

http://www.site.ru/rubrika/736/post.html
http://www.site.ru/rubrika2/815/post2.html

736 и 815 это id постов, которые в урле. Понятно, что таких урлов много (и id у всех разный)

Как закрыть в роботс, все посты, в урлах которых имеются эти числа (id) ??

Щас урлы на сайте вида:

http://www.site.ru/novyi-post.html

а старые урлы довольно долго в индексе, и щас на них ошибка 404. Подскажите плиз.

Ну так это же хорошо что ошибка 404, ничего не нужно закрывать. Это если бы по этим адресам были дубли страниц, тогда да, нужно. А так не заморачивайся - будет ап и эти страницы с 404 выпадут из индекса.

MiladyX
На сайте с 23.09.2008
Offline
65
#2

Да, но они так долго висят в индексе, хочется их все запретить.

A2
На сайте с 17.11.2009
Offline
52
#3
MiladyX:
Да, но они так долго висят в индексе, хочется их все запретить.

долго это сколько?

Даже если ты запретишь их в роботсе, то они всё равно будут некоторое время в поиске, пока не будет апдейта.

WebJunior
На сайте с 11.06.2010
Offline
155
#4

десять символов

Мой сайт на этом хостинге - https://tuthost.ua/?from=2558 / Верстаю шаблоны (темы с отзывами: https://searchengines.guru/ru/forum/763758, https://searchengines.guru/ru/forum/600404 ).
[Удален]
#5

User-agent: *

Disallow: /rubrika

Disallow: /rubrika2

siv1987
На сайте с 02.04.2009
Offline
427
#6

User-agent: *

Disallow: /

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий