Вопрос по robots.txt

Madness_Lvov
На сайте с 22.05.2008
Offline
54
427

Надо закрыть от индексации ботами страницы вида http://site.ru/index.php?(...)

например http://site.ru/index.php?razdel=news

У меня такая запись в robots.txt

User-agent: *

Disallow: /index.php?*

1-й вопрос знатокам: будет ли такая запись корректна для Яши и Гугла?

И добьюсь ли я поставленной цели таким выражением?

2-й: Будет ли индексироваться страница http://site.ru/index.php, которая является главной?

(В индексе Гугла щас две одинаковые страницы - http://site.ru/index.php и http://site.ru/)

stifler_x
На сайте с 19.06.2008
Offline
193
#1

Для Яндекса можно проверить правильность файла. В панели вебмастера есть "Анализ роботс.тхт"

SZ
На сайте с 17.08.2005
Offline
63
#2

в Disallow "*" уберите, и тогда на все поставленные вопросы ответ будет "да" =)

S2
На сайте с 07.01.2008
Offline
611
#3

А не лучше главной сделать http://site.ru?

User-agent: *

Disallow: /index.php?

Проверка: http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml говорит, что это правильно.

Так кстати тоже можно. Смысла только особого нет, так как * добавится автоматом.

User-agent: *

Disallow: /index.php?*

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'

См.: http://help.yandex.ru/webmaster/?id=996567

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
Madness_Lvov
На сайте с 22.05.2008
Offline
54
#4
stifler_x:
Для Яндекса можно проверить правильность файла. В панели вебмастера есть "Анализ роботс.тхт"

Спасибо, но он логических не покажет ошибок )

SergoZD:
в Disallow "*" уберите, и тогда на все поставленные вопросы ответ будет "да" =)

И для Гугла? А чтоб http://site.ru/index.php не индексировалась?

Str256:
А не лучше главной сделать http://site.ru?

User-agent: *
Disallow: /index.php?

И не будет http://site.ru/index.php индексироваться? И для Гугла? 😂

Str256:
Проверка: http://webmaster.yandex.ru/wmconsole...robots_txt.xml говорит, что это правильно.

Спасибо, но она тоже логических не покажет ошибок 😎

A
На сайте с 15.02.2008
Offline
52
#5
Спасибо, но он логических не покажет ошибок )

Там можно проверить будет ли индексироваться index.php

S2
На сайте с 07.01.2008
Offline
611
#6

Каких ещё логических? Всё он показывает.

[ATTACH]25537[/ATTACH]

jpg 1.jpg
Madness_Lvov
На сайте с 22.05.2008
Offline
54
#7

Str256, мне http://site.ru/index.php тоже не надо чтоб индексирывалась, надо http://site.ru

Пришел к такому, совместными с вами усилиями :D

User-agent: *

Disallow: /index.php

Анализатор:

site.ru/index.php?razdel=news - запрещен правилом /index.php

site.ru/index.php - запрещен правилом /index.php

site.ru/news - разрешен

site.ru - разрешен

Для Яндекса пойдет, вот только что Гугл на это скажет? ;)

S2
На сайте с 07.01.2008
Offline
611
#8

Я ориентировался в ответе на:

2-й: Будет ли индексироваться страница http://site.ru/index.php, которая является главной?

Указал так, чтобы ваша главная осталась в индексе.

А у гугла, как я уже писал выше - есть аналогичная форма для проверки в инструментах - можете проверить там. Не думаю, что в данном случае будут какие-либо различия.

Madness_Lvov
На сайте с 22.05.2008
Offline
54
#9

Всем спасибо, топик закрываеться :D

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий