Форум Поисковые системы Яндекс

сложный случай с robots.txt

U
На сайте с 24.02.2009
Offline
116
ufaclub
1047

есть сайт http://site.ru/

есть пачку урлов вида

http://site.ru/1.html

http://site.ru/2.html

http://site.ru/3.html

http://site.ru/4.html

http://site.ru/5.html

и пачка урлов вида

http://site.ru/img/1.html

http://site.ru/ololo/s/1.html

http://site.ru/o3/s/....../145.html

суть разрешить индексацию только адресов второго уровня пример: (http://site.ru/*.html) а все остальное запретить.

есть мысли сделать так (скорее всего непральная идея)

Disallow: *.html

Allow: /*.html

Подскажите как сделать правильнее? :idea:

K
На сайте с 31.01.2001
Offline
737
Kost
#1
ufaclub:
а все остальное запретить.

Disallow: /*/*.html

Запретит все, где есть еще минимум один слеш. Где сложность?

ufaclub:
Disallow: *.html
Allow: /*.html

А вы первой строкой уже запретили все файлы с расширением .html

Следующая строка Allow: никогда не сработает.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
U
На сайте с 24.02.2009
Offline
116
ufaclub
#2
Kost:
Disallow: /*/*.html

а если вариантов вложенисти неограниченно много?

например http://site.ru/o3/s/dew/23423/4234/ewrwe/rwer/145.html тоже запретит?

RM
На сайте с 21.06.2011
Offline
77
RoMaN444Ik
#3
ufaclub:
а если вариантов вложенисти неограниченно много?

например http://site.ru/o3/s/dew/23423/4234/ewrwe/rwer/145.html тоже запретит?

Конечно! Ну а как по-другому то?

U
На сайте с 24.02.2009
Offline
116
ufaclub
#4

спасибо! проверим!

K
На сайте с 31.01.2001
Offline
737
Kost
#5
ufaclub:
например http://site.ru/o3/s/dew/23423/4234/ewrwe/rwer/145.html тоже запретит?
Спецсимвол '*' означает любую (в том числе пустую) последовательность символов.

ufaclub, почему вы не изучили одну страницу матчасти и задаете такие вопросы?

Извольте объяснить.

U
На сайте с 24.02.2009
Offline
116
ufaclub
#6
Kost:
ufaclub, почему вы не изучили одну страницу матчасти и задаете такие вопросы?
Извольте объяснить.

не хотел рисковать, поэтому и спросил у знающих.

счас вроде понял все. :)

SX
На сайте с 17.09.2009
Offline
20
SiteX
#7

В вебмастере ведь есть "Анализ robots.txt". Чудите там что хотите и сразу же проверяйте результаты! Даже ничего не понимая в robots.txt через 1-2 часа экспериментов Вы получите желаемое🙅

RM
На сайте с 21.06.2011
Offline
77
RoMaN444Ik
#8

Как говорится... RTFM!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий