Нужно закрыть дубли в robots.txt, без совета не обойтись.

АХ
На сайте с 17.02.2009
Offline
40
1563

Пришел сайт на продвижение на самописном движке. У него на 4-ом и последующих уровнях вложенности страниц идет полное дублирование контента. Некоторые из таких страниц продвигаются по запросам. Сначала хотел закрыть от индексации только дубли контента продвигаемых страниц, но теперь думаю все эти дубли запретить к индексации.

Вот такие страницы:

сайт.ру/catalog/item2465/vendor2/
сайт.ру/catalog/item2466/vendor4/pager2/
сайт.ру/catalog/item2604/vendor16/serieStarck/
сайт.ру/catalog/item2610/vendor41/all/

и т.п.

Дублирование идет начиная от 4-го УВ, т.е. все перечисленные выше страницы я хочу закрыть от индексации. Но при этом страницы

сайт.ру/catalog/item2465/
сайт.ру/catalog/item2466/
сайт.ру/catalog/item2604/
сайт.ру/catalog/item2610/

на третьем УВ в каталоге должны быть доступны.

Кроме того есть продвигаемые страницы среди тех, что хочу закрыть, например:

сайт.ру/item2609/vendor28/
сайт.ру/catalog/item2466/vendor2/
сайт.ру/item2473/vendor11/all/

Как это осуществить в роботс?

Вот что сам придумал:

User-agent: *
Allow: /catalog/item2473/vendor11/ # нужная продвигаемая страница
Allow: /catalog/item2605/vendor14/all/ # нужная продвигаемая страница
Allow: /catalog/item2609/vendor26/all/ # нужная продвигаемая страница и т.д.
Disallow: /catalog/item*/

Т.е. получается разрешаем сначала индексировать нужные продвигаемые страницы, которые входят в число дублей. А потом запрещаем все что идет после сайт.ру/catalog/item*/

где * - любые возможные комбинации.

Но страницы вида


сайт.ру/catalog/item2465/
сайт.ру/catalog/item2466/
сайт.ру/catalog/item2604/

Нужны для индексации, а все что идет после слеша уже не нужно (за исключением некоторых продвигаемых страниц). Получается что в моем примере роботс страницы вида сайт.ру/catalog/item2604/ тоже не будут индексироваться...

В общем я что-то запутался.

Если подвести все кратко, то страницы вида сайт.ру/catalog/item2465/vendor2/и_все_что_идет_далее не нужны.

Страницы вида сайт.ру/catalog/item2465/ нужны.

И так же нужны некоторые отдельные страницы вида

сайт.ру/catalog/item2463/vendor7

или сайт.ру/catalog/item2863/vendor9/all

Посоветуйте, плиз, как тут оформить роботс.

Узнай что посетители хотят от сайта! (http://webvisor.ru?pnr=1611570410126911240), а заодно и подними конвертацию ;)
xpycteamset
На сайте с 05.10.2009
Offline
129
#1

В вебмастере яндекса

Настройка индексирования

*

Анализ robots.txt

делаеш свой роботс

далее чють ниже видим

Список URL

добавить

жмем добавить и вписываем урлы которые нужны и далее кнопка проверить если они будут отмечены как доступны для индексации можно закачивать робот на сайт если нет то дальше думать...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий