Закрыть от индексации в robots.txt

95

IceHell

10 ноября 2013, 13:19

624

Подскажите такого рода ссылки видны в sitemap.xml на движке simpla

<loc>http://www.site.ru/products?sort=price</loc>

<loc>http://www.site.ru/catalog/norka?sort=position</loc>

<loc>http://www.site.ru/products?sort=position&page=2</loc>

<loc>http://www.site.ru/catalog/me?sort=price&page=2</loc>

Такого рода сортировки, в робост же лучше закрыть от ботов?

А как закрыть ?

Disallow: /?sort

?

Бары Москвы (http://www.gdebar.ru) - поиск развлечений по станциям метро в Москве.

142

secondary

11 ноября 2013, 09:23

#1

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Disallow: /*?sort=

1

Seo аудит сайтов. Консультации. Качественная внутренняя оптимизация. (/ru/forum/803695) Полная подготовка проектов с нуля! Оптимизация готовых сайтов.

95

IceHell

11 ноября 2013, 15:09

#2

secondary:
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
Disallow: /*?sort=

Если так ? - Disallow: /*?

98

TheStig

11 ноября 2013, 15:45

#3

IceHell:
Если так ? - Disallow: /*?

а тогда не останется 3-5 страниц? если нет, то закрывайте

95

IceHell

11 ноября 2013, 17:18

#4

TheStig:
а тогда не останется 3-5 страниц? если нет, то закрывайте

Почему 3-5 ?

62

Palteza

11 ноября 2013, 21:53

#5

IceHell:
Почему 3-5 ?

Потому что таким образом вы закрываете все страницы, содержащие что-либо после любого слэша.

В вашем случае для Yandex нужно закрывать таким образом:

Disallow: *?sort=*

(т.е. все страницы, содержащие ?sort= в URL)

Для Google на такие страницы нужно прописать

Т. к. страницы, закрытые в robots Google все равно индексирует.

Google не рекомендует закрывать Яндекс опубликовал методы управления О чем нужно помнить

95

IceHell

12 ноября 2013, 07:25

#6

Palteza:
Потому что таким образом вы закрываете все страницы, содержащие что-либо после любого слэша.

В вашем случае для Yandex нужно закрывать таким образом:
Disallow: *?sort=*
(т.е. все страницы, содержащие ?sort= в URL)

Для Google на такие страницы нужно прописать

<meta name='robots' content='noindex,nofollow' />

Т. к. страницы, закрытые в robots Google все равно индексирует.

Disallow: *?sort=*

или

Disallow: /*?sort=*

Вообще хотел сделать Disallow: /*? - что бы избавиться от динамических страниц, всех сортировок. Остальные страницы на сайте стационарны.