микро-вопрос по роботс.тхт

12
kimberlit
На сайте с 13.03.2007
Offline
370
#11
Sharero-Demian:
а слэш реально так все меняет оказывается?

Ты же сказал:

Sharero-Demian:
есть дубль страницы: site.ru/news/part/
Sharero-Demian:
Как закрыть правильно страницу site.ru/news/part/

Слеш же есть в вопросе. Какой вопрос такой и ответ. А что у тебя на сайте со слешами творится я не знаю.

Зы melihovgv, убейся об стенку со своими советами и иди матчасть читай.

SD
На сайте с 19.08.2012
Offline
13
#12

В общем, посмотрим, что гугл скажет когда новый роботс увидит...

Я наверное неправильно выразился(( Каюсь

Есть страница: site.ru/news/part/ я её хочу закрыть, но когда я прописал в роботсе

Disallow: /news/part/

То закрыл записи типа: site.ru/news/part/aaaa

---------- Добавлено 01.12.2012 в 01:18 ----------

А что для ПС страница site.ru/news/part/ и страница site.ru/news/part это 2 разные? я думал одна...

siv1987
На сайте с 02.04.2009
Offline
427
#13
melihovgv:
Disallow: /news/part
При учете, что сайт отдает правильные заголовки и т.д.

"Правильные заголовки" большое влияние на принцип работы директив роботс не оказывают. А в ФАК говорится, что по умолчанию в конце подразумевается любое количество символов. Т.е. в регулярном представление

Disallow: /folder/ соответствует /folder/.*

Disallow: /folder/$ соответствует /folder/$

Disallow: /folder/*.html соответсвует /folder/.*\.html.*

Disallow: /*/folder/ соответсвует /.*/folder/.*

Sharero-Demian:
В общем, посмотрим, что гугл скажет когда новый роботс увидит...

В гугле как и в яндексе есть валидатор роботс

SD
На сайте с 19.08.2012
Offline
13
#14
siv1987:
"Правильные заголовки" большое влияние на принцип работы директив роботс не оказывают. А в ФАК говорится, что по умолчанию в конце подразумевается любое количество символов. Т.е. в регулярном представление
Disallow: /folder/ соответствует /folder/.*
Disallow: /folder/$ соответствует /folder/$
Disallow: /folder/*.html соответсвует /folder/.*\.html.*
Disallow: /*/folder/ соответсвует /.*/folder/.*


В гугле как и в яндексе есть валидатор роботс

Благодарю всех за ответы, нашел способ просто удалить эти страницы, теперь и закрывать нечего)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий