Правильно ли написан robots.txt для Yandex

396

seolink74

12 ноября 2007, 14:33

310

Есть сайт на котором присутствуют дубли страниц

Есть желание закрыть от индексации дубли. Возможно это поможет ускорению индексации нужной страницы

Вопрос: правильно ли написан robots.txt для закрытия страниц с дублирующим контентом.(На даный момент в индексе www.урл.ru/folders/3317

User-agent: Yandex

Disallow: /folders/3317/

Disallow: /articles/41445/material/

Конечно проще удалить дубли страниц но это не в моей компетенции.

Продвижение в ТОП3 Яндекс с оплатой по факту(писать в личку/Москва)

370

kimberlit

12 ноября 2007, 14:37

Ну если в папке /articles/41445/material/ лежит дублирующий контент, то правильно ...