robots.txt - как правильно закрыть от индексации страницы

12 3
SF
На сайте с 07.09.2004
Offline
167
SAF
21396

Как правильно прописать в роботсе allow/disallow что бы закрыть от индексации страницы содержащие в урле "sort" (несколько сотен страниц), но при этом десяток страниц содержащих "sort" надо оставить доступными для индексации, т.к. на них стоят внешние ссылки.

Ну и само-собой, все остальные страницы ЭТО затронуть не должно.

Я понимаю так:

Disallow/*sort*

Allow/tovari-new/sort3da&500

Allow/tovari-old/sort2hj&203

Allow/tovari-rasprodaga-sort1

Правильно?

Brux
На сайте с 19.07.2007
Offline
29
#1

SAF нет неправильно, уже есть ошибка в том что не важно что там у тебя Allow или Disallow

должно быть так, два глаза и пробел после Allow/Dissalow.

Dissalow: /sort

закрывает файлы с sort

Dissalow: /sort/

закрывает папку sort

••• TRAFFTOCASH.COM ••• 85% за SMS (http://trafftocash.com/index.php) РУ ИНВАЙТЫ свежие: • 07fe9bf68c • be6ffc5fd2 • e7ea2d73ea • 29e4555ff1 • b19ff62b92 • c8670d0fe9 <===$$$===> А ••• тут 90% за SMS ••• (http://tinyurl.com/yh3kda8) ==> АКЦИЯ успей ЗАРЕГИТСЯ !
P
На сайте с 18.01.2009
Offline
49
#2
SAF:
Как правильно прописать в роботсе allow/disallow что бы закрыть от индексации страницы содержащие в урле "sort" (несколько сотен страниц), но при этом десяток страниц содержащих "sort" надо оставить доступными для индексации, т.к. на них стоят внешние ссылки.
Ну и само-собой, все остальные страницы ЭТО затронуть не должно.
Я понимаю так:

Disallow/*sort*
Allow/tovari-new/sort3da&500
Allow/tovari-old/sort2hj&203
Allow/tovari-rasprodaga-sort1

Правильно?

Нет.

Вот так будет правильно

User-agent: *

Allow: /tovari-new/sort3da&500

Allow: /tovari-old/sort2hj&203

Allow: /tovari-rasprodaga-sort1

Disallow: *sort*

User-agent: Yandex

Allow: /tovari-new/sort3da&500

Allow: /tovari-old/sort2hj&203

Allow: /tovari-rasprodaga-sort1

Disallow: *sort*

Host: www.site.ru

http://help.yandex.ru/webmaster/?id=996567#996571

Brux:
SAF нет неправильно, уже есть ошибка в том что не важно что там у тебя Allow или Disallow
должно быть так, два глаза и пробел после Allow/Dissalow.

Dissalow: /sort
закрывает файлы с sort

Dissalow: /sort/
закрывает папку sort

У вас тоже неправильно

И пояснили неправильно

Dissalow: /sort

# запрещает и '/sort', - как папку

# и '/sort.html' - непосредственно сам файл

А

Dissalow: /sort/ только папку sort

vinic
На сайте с 06.05.2005
Offline
126
#3

Подскажите как закрыть страницы такого формата

http://site.ru/slovo1/slovo2/page/2/

http://site.ru/slovo1/slovo2/page/3/ и т.д.

при этом должны быть разрешены

http://site.ru/slovo1/slovo2/

http://site.ru/slovo1/

koshak_gav
На сайте с 13.05.2009
Offline
72
#4

vinic - видимо вот так - я так поступаю)

Dissalow: /slovo1/slovo2/page

Сначала подумай, а потом сделай!!
A
На сайте с 19.07.2009
Offline
84
#5

User-agent: *

Dissalow: /slovo2/page/

Запретит индексировать все документы из папки /slovo2/page/

Ko4ka.online — обратная сторона бодибилдинга и фитнеса (https://ko4ka.online/). Ironmuscles — все о бодибилдинге и фитнесе (https://ironmuscles.org/).
vinic
На сайте с 06.05.2005
Offline
126
#6
koshak_gav:
vinic - видимо вот так - я так поступаю)
Dissalow: /slovo1/slovo2/page

спасибо, работает

A1
На сайте с 31.03.2008
Offline
33
#7

Подскажите, как разрешить доступ Яндекса к страницам site.ru/slovo и при этом запретить к страницам site.ru/slovo-full

Цахес
На сайте с 15.03.2007
Offline
205
#8
koshak_gav:
Dissalow: /slovo1/slovo2/page

Disallow. ☝

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
T
На сайте с 25.12.2003
Offline
44
#9
Apollon1:
Подскажите, как разрешить доступ Яндекса к страницам site.ru/slovo и при этом запретить к страницам site.ru/slovo-full

Видимо так

User-agent: *

Dissalow: /slovo-full/

ColdMAN
На сайте с 15.01.2007
Offline
97
#10

чтобы закрыть от индексации страницы содержащие в урле ref= и _openstat=

писать нужно так

100% работает

User-agent: *

Disallow: /*ref=

Disallow: /*_openstat=

User-agent: Yandex

Disallow: /*ref=

Disallow: /*_openstat=

ради нескольких ссылок я бы не стал заморачиваться

Акция! Смотри приколы бесплатно (http://jpg-1.com) -5-ти минутный перерыв.
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий