Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Корректность robots.txt

12
Пуховой
На сайте с 17.11.2007
Offline
154
Пуховой
602

Добре.

Хотелось бы запретить индексацию страниц вида:

http://test.ru/page1.html/comment-page-16 (страницы комментариев)

http://test.ru/page1.html?replytocom=2621 (ответ на комментарий)

http://test.ru/page1.html/feed (лента)

То есть, в индексе должна висеть только страница http://test.ru/page1.html.

Правильным ли будет подобный robots.txt: 

User-agent: *

Disallow: /*replytocom*

Disallow: /*comment-page*

Disallow: /*feed

Заранее спасибо за ответы.

Onu
На сайте с 10.01.2007
Offline
170
Onu
#1

Пуховой,

User-agent: *
Disallow: /?replytocom
Disallow: /comment-page
Disallow: /feed

Так будет правильно. Удачи!

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#2
Onu:
Так будет правильно

Отнюдь. 10 отнюдей.

[Удален]
#3

Вот вроде так:


User-agent: *
Disallow: */?replytocom*
Disallow: */comment-page*
Disallow: */feed

Пуховой, юзайте http://webmaster.yandex.ru/robots.xml

Пуховой
На сайте с 17.11.2007
Offline
154
Пуховой
#4

Я бы рад... Но при каждой попытке проверить там - "Соединение закрыто удалённым сервером" :(

S2
На сайте с 07.01.2008
Offline
611
Str256
#5

Вот так правильно:

User-agent: *
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/feed
Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#6
Phessiv:
Вот вроде так:
Цитата:
User-agent: *
Disallow: */?replytocom*
Disallow: */comment-page*
Disallow: */feed
Пуховой, юзайте http://webmaster.yandex.ru/robots.xml

Phessiv, а где вы видели в мануале звёздочку до слеша в Disallow?

PS У Пухового пока самый правильный вариант) Только звёздочки в конце можно опустить (это по умолчанию).

Я бы так написал:

User-agent: *

Disallow: /*comment-page

Disallow: /*?replytocom

Disallow: /*feed

Пуховой
На сайте с 17.11.2007
Offline
154
Пуховой
#7

Всем спасибо, сделал сл. образом:

User-agent: *
Disallow: /*replytocom
Disallow: /*comment-page
Disallow: /*feed
S2
На сайте с 07.01.2008
Offline
611
Str256
#8

kimberlit, правильно и у меня и у вас и у Пухового. У Phessiv 1-я строчка неправильна.

[Удален]
#9
Str256:
kimberlit, правильно и у меня и у вас и у Пухового. У Phessiv 1-я строчка неправильна.

Будем знать :)

Onu
На сайте с 10.01.2007
Offline
170
Onu
#10

Такой спор завели, ужас. На ведущих сайтах посмотрели? На своих посмотрели? Посмотрел на своем - прекрасно работает:

User-agent: *
Disallow: /?replytocom*
Disallow: /comment-page*
Disallow: /feed
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий