Исключене страниц из Поиска Яндекс (дубли)

D
На сайте с 17.07.2011
Offline
42
636

Собственно вопрос уже потерт, все темы перечитал...Но проблема осталась. Так сказать Оптмизацию по дублям раньше не провел и много хлама Яндекс съел( тип:

www.saite.ru/2011/06/page/2/

www.saite.ru/2011/03/16/

www.saite.ru/index.php?do=search&story= (Поиск по сайту)

www.saite.ru/page/19/

www.saite.ru/user/.....

Мною был перебран Robots.txt и загружен в яндекс веб-мастер: с исключение по индексации выше указанных дерикторий

User-agent: Yandex

Allow: /

Disallow: /2010/

Disallow: /2011/

Disallow: /programs/

Disallow: /torrent/

Disallow: /*print

Disallow: /category/

Disallow: /favorites/

Disallow: /page/

Disallow: */page/*

Disallow: /tags/

Disallow: /engine/go.php

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /admin.php

Disallow: /upgrade/

Disallow: /user/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /index.php?do=search

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /nk9

Sitemap: http://www.saite.ru/sitemap.xml

Host: www.saite.ru

Люди что не так Плиз Help/ Мож че поправить или лишние че прописал.. Заранее спасибо!:popcorn:

siv1987
На сайте с 02.04.2009
Offline
427
#1
Dragovith:
Allow: /

После этой строчки смело можешь удалять все нижнее Disallow.

D
На сайте с 17.07.2011
Offline
42
#2

Тоесть я строчкой Allow: / разрешил полную индексацию сайта, и робот не учитывает Нижние "Disallow" ? ...Значит просто убрать Allow: / ?

gormarket
На сайте с 29.12.2010
Offline
47
#3

Dragovith, зайдите на страничку яндекса Анализ robots.txt

и получите информацию из первых рук (от яндекса)

Товары и цены в магазинах Вашего города: Городской рынок (http://gormarket.ru/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий