Кривая индексация

Soeti
На сайте с 22.02.2009
Offline
41
275

В общем, воюю с этим давно и все никак не заборю(

Сайт на wp, гугл вечно включает в индекс какие-то непонятные страницы.

к примеру:

сайт.ру/?feed=rss2&p=300

сайт.ру/wp-trackback.php?p=310

И таких страниц тьма.

Как мне забороть мусор такой?

User-agent: *

Disallow: /login.php

Disallow: /cgi-bin

Disallow: /?trackback

Disallow: /feed

Disallow: */trackback

Disallow: */feed

Disallow: /page/

Disallow: /?paged

Disallow: /tag

Disallow: /?tag

Disallow: /wp-

Disallow: /?feed

User-agent: Yandex

Disallow: /login.php

Смотрел другие сайты с классической сайт.ру/?р=353

Удивляет, что у многих вообще нет robots.txt - и блог отлично индексируется без гавностраниц.

Как-то даже убрал его. В итоге гугл выдал в индекс все "кишки".

Не знаю, что и думать. Читал, что в .htaccess можно тоже управлять индексацией. Может они делают именно так?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий