robots.txt: закрыть конкретный каталог на n-ом уровне вложенности

12 3
R
На сайте с 22.06.2007
Offline
174
3209

Имеется 2 урл:

1. /films/fantasy/123-avatar.html

2. /films/fantasy/torrent/123-avatar.html

Урл 2 нужно закрыть от индексации в robots.txt, при этом чтобы урл 1 нормально индексировался.

Я правильно пониманию, фрагмент должен быть таким?

User-agent: *
Disallow: */torrent/*

Или это неправильно?

Maximalist
На сайте с 17.04.2007
Offline
202
#1

тут так написанно:

Disallow: /*/private/ # запрещает все подпути содержащие '/private/'
- = тут что-то должно быть = -
R
На сайте с 22.06.2007
Offline
174
#2

Maximalist, да, спасибо. Как-то не догадался в хелпе яндекса глянуть, а на офсайте по роботсу ничего не нашел.

Кстати в контексте этого топика, подскажите как сейчас - можно ли надеяться что страницы, закрытые в роботсе не будут индексироваться, или ПС сейчас могут игнорировать роботс?

Maximalist
На сайте с 17.04.2007
Offline
202
#3
Reise:
можно ли надеяться что страницы, закрытые в роботсе не будут индексироваться

насколько я знаю - да :)

R
На сайте с 22.06.2007
Offline
174
#4
Maximalist:
насколько я знаю - да

Просто я уже немножко отстал от жизни seo так сказать :), слышал такие страшные истории мол роботс уже игнорируется...

TextTeam
На сайте с 30.03.2010
Offline
15
#5

Reise, вы можете написать пример своего роботса в http://webmaster.yandex.ru/robots.xml, дальше (в следующем окне) добавить урл, который хотите проверить и узнаете, будет он индексироваться или нет.

R
На сайте с 22.06.2007
Offline
174
#6

Правило Disallow: /*/torrent/ таки не работает. Страницы типа /films/fantasy/torrent/123-avatar.html полезли в индекс гугла.

siv1987
На сайте с 02.04.2009
Offline
427
#7

Таки вот такие как ТС и распускают всякие левые слухи про роботс. Два часа назад просил составить правило, а сейчас уже все страницы в индексе и роботс не работает

R
На сайте с 22.06.2007
Offline
174
#8
TextTeam:
Reise, вы можете написать пример своего роботса в http://webmaster.yandex.ru/robots.xml, дальше (в следующем окне) добавить урл, который хотите проверить и узнаете, будет он индексироваться или нет.

Самое смешное, что по яндексу выдается , что запрещен:

запрещен правилом /*/torrent/*

, при этом правило то без звездочки в конце, то есть: Disallow: /*/torrent/

По гуглу повторюсь - страницы уже полезли в индекс. Добавлю я пока звездочку в конец.

---------- Добавлено 01.02.2012 в 18:21 ----------

И все таки выяснил что гугл игнорирует правила robots.txt. На сайте есть урл-ы вида

/photo-id

в robots.txt стоит правило:

Disallow: /photo*

И при этом данные страницы прекрасно индексируются.

Что делать?

Yapy
На сайте с 30.01.2012
Offline
2
#9
Reise:
И при этом данные страницы прекрасно индексируются.

Индексируются новые страницы с уже новыми правилами роботс.тхт?

Reise:
гугл игнорирует правила robots.txt.

Вообще-то, это неправда. Google о robots.txt

Покажите на всякий случай ваш роботс, или дайте урл.

[Удален]
#10

Disallow: /films/fantasy/torrent/*

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий