избавление от дублей в индексе

Насколько я знаю, можно удалить только те страницы, которые закрыты robots.txt или больше не существуют. Пока страница "жива" и открыта поисковикам, удалить ее через вебмастер не получится.

совершенно верно. я поместил страницу в роботс и попросил яндекса убрать ее, яндекс сказал, что уберет,

тот же номер, с незакрытой в роботсе страницей не прошел

вопрос в том, как сделать, чтобы

не писать же в роботся сотни страниц

да и это тоже будет нагружать бота, что не нужно

Закрой в роботсе все кривые сслыки, сами вылетят со временем ...

яндекс видит 2800 страниц, в поиске 1160, реально статей- около 300

сколько же вбивать в роботс?

и потом, страницы, закрытые в роботсе, паук все равно обходит, просто ему запрещено вносить в индекс. вот и получается- он ходит по дублям, а на новые страницы его не хватает

я думал, что через 404 в штаксесс легче и лучше

Не легче и не лучше, это не правильно.

В robots просто закройте дубли по маске и все.

поясните, пожалуйста, как это- по маске?

/ru/forum/493216

Чтоб закрыть дубль, запрещаем параметр &highlight:

Disallow: /*highlight=

так,так,так...

что значит highlight?

и что ставим после знака "="?

Это пример дубля страницы форума на вбулетине. Смотрите какие урлы с дублями генерирует ваш сайт и закройте их по этому принципу.

После знака "=" нечего не ставит т.к. по умолчанию подразумевается "=*".

вроде понял,спасибо