Как robots.txt понимает такой синтаксис?

M

35

Maxhit

15 декабря 2011, 14:42

591

Появились сомнения касательно правильного написания дисалоу в роботс.

Есть интернет-магазин, иерархия следующая:

sitename.com/раздел/категория/товар

Я закрыл категорию от индексации

"Disallow: sitename.com/раздел/"

А потом подумал, а что будет с дальнейшей иерархией, все что дальше sitename.com/раздел/ > индексироваться не будет? Хотя с другой стороны улры динамические... вообще сомнения, помогите развеять :)

После оптимизации можно заняться активным спортом, роликовые коньки отличное решение http://roliki.od.ua (http://roliki.od.ua)

322

Shlackbaum

15 декабря 2011, 14:43

#1

Анализ robots.txt

Пустота. Какого черта здесь появляется чья-то реклама?

67

azartan

15 декабря 2011, 14:58

#2

помощь яндекса об этом тоже туманно говорит, увы

http://help.yandex.ru/webmaster/?id=996567#996571

но, вдруг поможет...

Мониторинг обменников - выгодный обмен электронных денег и криптовалют (https://okku.ru) * Сайт о домашних питомцах - вопросы, ответы, объявления (http://zhizo.ru)

189

LeonCrab

15 декабря 2011, 21:21

#3

Пишите в robots.txt так:

Disallow: sitename.com/раздел/$

Тогда урл вида: sitename.com/раздел/категория/товар будет нормально индексироваться.

Помощь в создании сайтов на MODX, Laravel, Slim. В личку. Хостинг, которому я доверяю (https://beget.com/p181956).

M

35

Maxhit

16 декабря 2011, 08:37

#4

LeonCrab:
Пишите в robots.txt так:

Disallow: sitename.com/раздел/$

Тогда урл вида: sitename.com/раздел/категория/товар будет нормально индексироваться.

Большое спасибо, а это работает как для всех поисковиков?

[Удален]

16 декабря 2011, 10:26

#5

Еще можно сначала разрешить то что нужно, а потом запретить ваш /раздел/

1609

SeVlad

16 декабря 2011, 10:48

#6

дел

10 раз

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов

Все что нужно знать о DDоS-атаках грамотному менеджеру