Форум Сайтостроение Веб-строительство

Как запретить индексировать страницы n-ного уровня?

12
[Удален]
1115

Как запретить индексировать страницы n-ного уровня, в моем случае страницы 5 уровня. Страницы всех предшествующих уровней должны индексироваться. По идее так

Dissalow: /*/*/*/*

Или не так?

gormarket
На сайте с 29.12.2010
Offline
47
gormarket
#1

x0x0, проверьте Ваш вариант на страничке яндекса Анализ robots.txt

Товары и цены в магазинах Вашего города: Городской рынок (http://gormarket.ru/)
[Удален]
#2

gormarket, проверил, при таком раскладе 5 уровень индексируется( Тогда как его залочить?

gormarket
На сайте с 29.12.2010
Offline
47
gormarket
#3
x0x0:
Тогда как его залочить?

элементарно !!! (написать правильно, с одним s и двумя l)

Disallow: /*/*/*/*

но кажется это запрет 4 уровня (хотя если корень сайта считать первым уровнем, то может быть)

[Удален]
#4

а можно конкретизировать?) Как должна выглядеть директива?

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#5

Вот так Allow: /

[Удален]
#6

А где здесь юмор?)

---------- Добавлено в 02:56 ---------- Предыдущее сообщение было в 01:19 ----------

В общем хз..как не кручу но не получается

Нужен роботс.тхт который разрешает индексировать урл вида

http://site.ru/201*/*/*/

Но зарещает урл вида

http://site.ru/201*/*/*/*/

http://site.ru/201*/*/

http://site.ru/201*/

На данный момент роботс. тхт выглядит так

User-agent: Yandex

Allow: /201*/*/

Disallow: /201*/*$

Новые стандарты для директивы Составление файла robots.txt Мэтт Катс объяснил, зачем
ZoomY
На сайте с 07.11.2008
Offline
165
ZoomY
#7
x0x0:
На данный момент роботс. тхт выглядит так

User-agent: Yandex
Allow: /201*/*/
Disallow: /201*/*$

Такой вариант запретит site.ru/2011/10 и разрешит всё остальное.

Используйте такой вариант:

User-agent: Yandex

Disallow: /20*/*/*/*

Allow: /20*/*/*

Disallow: /20*/*

Disallow: /20*

Кол-во звёздочек редактируйте как нужно.

Размещу ваши статьи на сайтах с тИЦ до 1400 по 5$ (/ru/forum/846111) Сейчас многие ищут хостинг за пределами России. Ukrnames - один из лучших вариантов: (http://ukrnames.com/?ref_id=114) и лидер рынка, и привычно, и по-русски, и вне юрисдикции РФ.
siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#8

User-agent: Yandex

Allow: /20*/*/*/$

Disallow: /20*/

ZoomY
На сайте с 07.11.2008
Offline
165
ZoomY
#9

siv1987, тестировали свой вариант в панельке перед тем, как сюда выложить?

[Удален]
#10

Тогда наверное добавить еще и закрывающий слеш?

User-agent: Yandex

Disallow: /20*/*/*/*/

Allow: /20*/*/*/

Disallow: /20*/*/

Disallow: /20*/

Так вроде все правильно проверялка воспринимает.

Урл всегда заканчивается слешем, тоесть фактически не существует урл 2 порядка..сразу как бы третий

site.ru

site.ru/2011/

site.ru/2011/12/statya/

Путаница короче((

Спасибо!

Помогите с robots.txt robots.txt и доры? Вопрос по файлу robots
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий