Форум Практика оптимизации Любые вопросы от новичков по оптимизации

составление robots

nazareno
На сайте с 15.05.2006
Offline
103
nazareno
339

на /ru/news/144 

Чтобы запретить роботу посещение динамических страниц, можно использовать частичный путь. Например, чтобы запретить посещение страниц для печати вида http://www.site.com/index.php?action=print&id=1, но разрешить посещение страниц вида http://www.site.com/index.php?action=view&id=1, необходимо в robots.txt написать следующее:
Disallow: /index.php?action=print
Однако следует учитывать порядок параметров в ссылке. Так, следующие страницы робот посетит: http://www.site.com/index.php?id=1&action=print http://www.site.com/?action=print&id=1

1) А как запретить роботу посещение файла www.site.com/index.php

и одновременно разрешить посещение www.site.com/index.php?cPath=...

2) Как запретить роботу посещение страниц заканчивающихся кодом product_reviews_write.html

www. site.com/category29_73/product136/product_reviews_write.html

_Tonik_
На сайте с 30.01.2009
Offline
51
_Tonik_
#1

Добрый вечер

1. На index.php обычно ставят редирект на основное зеркало

2. Disallow: /product_reviews_write.html

Совет: Да, кстати, проверьте еще ваш сайт на наличие частого бага, при котором www.site.com/page = www.site.com/page/ осуществляется клонирование страниц, адрес разный, контент один. Образуется дублирование контента и в итоге страничка проседает по выдаче. Либо попробуйте воспользоваться тегом rel=canonical, о том как его использовать и для чего он нужен можно прочесть [ тут ]

Спасибо за внимание

||| Уже не предоставляю бесплатные (/ru/forum/508357) и платные (/ru/forum/396481) аудиты ||| >>> VK: Itaniell (vk.com/itaniell) | SkypeID: Itaniell
Google: сигналы noindex и Google рассказал о том, Настройка индексирования нового сайта
K
На сайте с 31.01.2001
Offline
737
Kost
#2
nazareno:
на /ru/news/144

Читать статью за 2003 год про нюансы интернета - это, конечно, прикольно.

Но почему не почитать просто справку к Яндексу и Гуглу, они наверняка более актуальны? :).

Посмотрите правила этого раздела, там есть все ссылки. ;)

Обратите внимание на звездочку.

А есть директива Clean-param, еще год-два назад ее не было. Есть где развернуться фантазии и выдумке, не то что в 2003 году.

nazareno:
апретить роботу посещение страниц заканчивающихся кодом product_reviews_write.html
_Tonik_:
Disallow: /product_reviews_write.html

_Tonik_, это незачет, двойка :).

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
FoxArt08
На сайте с 22.04.2008
Offline
65
FoxArt08
#3
nazareno:
1) А как запретить роботу посещение файла www.site.com/index.php
и одновременно разрешить посещение www.site.com/index.php?cPath=...
2) Как запретить роботу посещение страниц заканчивающихся кодом product_reviews_write.html
www. site.com/category29_73/product136/product_reviews_write.html

1. Disallow: /index.php$

2. Disallow: /*product_reviews_write.html

_Tonik_
На сайте с 30.01.2009
Offline
51
_Tonik_
#4
Kost:

_Tonik_, это незачет, двойка :).

Я для данного случая отписывал.

K
На сайте с 31.01.2001
Offline
737
Kost
#5
_Tonik_:
Я для данного случая отписывал.
nazareno:
Как запретить роботу посещение страниц заканчивающихся кодом product_reviews_write.html
www. site.com/category29_73/product136/product_reviews_write.html
_Tonik_:
Disallow: /product_reviews_write.html

Вот оно и не запретит. Берите FAQ Яндекса, буквари и изучайте. Это никогда не поздно.

Тут еще какой-то бред:

_Tonik_:
1. На index.php обычно ставят редирект на основное зеркало

Не надо ничего писать, если не в теме.

А это правильный ответ:

FoxArt08:
1. Disallow: /index.php$
2. Disallow: /*product_reviews_write.html

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий