Вопросы по индексированию сайтов Яндексом

LS
На сайте с 25.03.2005
Offline
133
621

Сайт http://gdepapa.ru

по отчету Яндекс-Вебмастер загружено роботом примерно 171000 страниц, а в поиске, на данный момент, только 14500. Причем это число постоянно меняется, от 9 тыс. до примерно 30 тыс. Чесно говоря, не понимаю, где вообще яндекс взял 171 тыс., но подозреваю, что он загружает страницы из раздела "поиск анкет" с различными вариантами поисковых параметров. Типа таких

http://gdepapa.ru/poisk/?category=1&min_age=&max_age=&int_country_id=1&children=-1&int_region_id=-40&str_order_by=reg_date

Причем результаты этих поисков разделены на множество страниц, еще добавляется параметр &page=

Поскольку постоянно регистрируются новые пользователи, то и эти страницы постоянно меняются, и просто боюсь, что яндекс может принять это за какой-нибудь поисковый спам. Я бы запретил в robots.txt раздел /poisk/ но анкеты пользователей тоже к нему привязаны, например

http://gdepapa.ru/poisk/anketa10843.html

Также, ссылка на анкету может быть без .html в конце, например та же самая анкета имеет адрес

http://gdepapa.ru/poisk/anketa10843/ Надо как-то яндексу сообщить, что это одна и та же страница?

В общем спрашиваю совета, как это все привести в порядок, чтобы посковики видели только страницы со стабильным контентом. Я сделал файлы sitemaps, в котором нет страниц с поисковыми параметрами, но яндекс все равно их загружает.

nik_kent
На сайте с 05.02.2008
Offline
193
#1
LeonidS:
Я бы запретил в robots.txt раздел /poisk/ но анкеты пользователей тоже к нему привязаны

Запретить можно по другой маске, тот же "page" легко запрещается в роботсе, или "category", или вообще Disallow: /*?. Зависит от других адресов на сайте.

LeonidS:
Также, ссылка на анкету может быть без .html в конце, например та же самая анкета имеет адрес
http://gdepapa.ru/poisk/anketa10843/

Если страницы идентичны, то rel="canonical" поможет.

С уважением, Николай.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий