Нужно посоветоваться по disalow в robots.txt

EVolkov · 2013-01-14T10:07:29.0000000Z

Как сделать так что бы например страница www.asdf.ru/zhenskaya_obuv/ была индексируема, а например такие страницы как www.asdf.ru/zhenskaya_obuv/asdf/ или www.asdf.ru/zhenskaya_obuv/asdf/fdsa закрыты из индекса? Знаю вопрос как бы легкий, и я кажется знаю как это делается, но нужно перепровериться, а то я очкую с этим robots-ом как улетит пол сайта в ноиндекс... :crazy: ---------- Добавлено 14.01.2013 в 15:16 ---------- Просто меня смущает то что пишет гугл на своей странице "Чтобы заблокировать каталог и все его содержание, введите название каталога и косую черту. Disallow: /nenuzhnyj-katalog/" Соответственно мне приходит на ум только одно: Disallow: /zhenskaya_obuv/* Непонятно как это воспринимают роботы, * это значит что после /zhenskaya_obuv/ обязательно что то будет, и это не индексировать. Или же * может подразумевать что ничего может и не быть... тогда и сам каталог закроется от индексации... и что тогда? Аllow: /zhenskaya_obuv/ и тогда я снова разблокирую каталог и все его содержание... Че делать?

68

Sheens

15 января 2013, 10:32

#11

kimberlit:
А это что?

Часть url


User-agent: *
Disallow: disalow/* 
Disallow: disalow/

E

0

EVolkov

16 января 2013, 11:21

#12

Спасибо за ответы я разобрался.. я так прописал

User-agent: *

Disallow: /zhenskaya_obuv/

Allow: /zhenskaya_obuv/$

8

Gosha5767

16 января 2013, 20:12

#13

Я хотел закрыть одну страницу и составил это правило:

Disallow: /*index.php/component/users/?view=reset

Но получилось, что закрылись другие в частности:

http://www.sitedelkin.ru/index.php/sozdanie-bloga-na-dvizhke-cms-wordpress

Проверка в Яндекс-вебмастере давала, что страница запрещена для робота.

Disallow: /index.php/component/users/?view=reset

Убрал звездочку и стала разрешена

Помогу создать сайт на Joomla (http://sitedelkin.ru/sozdanie-sajta-joomla-2-5.html)

370

kimberlit

16 января 2013, 20:17

#14

Gosha5767:
Я хотел закрыть одну страницу и составил это правило:
Disallow: /*index.php/component/users/?view=reset
Но получилось, что закрылись другие в частности:
http://www.sitedelkin.ru/index.php/sozdanie-bloga-na-dvizhke-cms-wordpress
Проверка в Яндекс-вебмастере давала, что страница запрещена для робота.
Disallow: /index.php/component/users/?view=reset
Убрал звездочку и стала разрешена

Бред. Не может такого быть.

Disallow: /*index.php/component/users/?view=reset

не закроет

http://www.sitedelkin.ru/index.php/sozdanie-bloga-na-dvizhke-cms-wordpress

Все что нужно знать о DDоS-атаках грамотному менеджеру

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи