Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt прописано «User-Agent: * Disallow: /?»

12
Оленька
На сайте с 01.11.2006
Offline
19
Оленька
34515

А если в Robots.txt прописано «User-Agent: * Disallow: /?», что это значит, запрещается ли для индексации такой сайт? Ведь как известно по спецификации «Disallow: /» как раз запрещает к индексации весь сайт (по крайней мере тут так написано http://www.robotstxt.org/wc/exclusion-admin.html), а про какие-то там «?» там не упоминается.

Вопрос возник, потому что на некоторых сайтах попадались такого формата записи.

AM
На сайте с 04.11.2003
Offline
57
Arty.M
#1

Оленька, робот не будет индексировать страницы вида www.site.ru/?param=1, а вида www.site.ru/index.php?param=1 - будет

Jackyk
На сайте с 05.10.2005
Offline
342
Jackyk
#2

Arty.M, существуют и иные мнения. А именно - что оба указанных Вами адреса индексироваться не будут.

С уважением, Евгений.
DimaU
На сайте с 30.08.2005
Offline
180
DimaU
#3
«User-Agent: * Disallow: /?»

такую конструкцию посоветовали мне в суппорте яши - не будут индексироваться указанные выше конструкции. Для гугла можно использовать вариант Disallow: /*?*

AM
На сайте с 04.11.2003
Offline
57
Arty.M
#4

Jackyk, я в своих суждениях исхожу из стандартов на этот файл. Другой вопрос, что их пора уже менять.

SZ
На сайте с 17.08.2005
Offline
63
SergoZD
#5

Что касается /?

Привожу следующий кусок моего давнего письма платону:

Поставил robots.txt:
===
User-Agent: *
Disallow: /?
===
Проверка с помощью Вашей тулзы выдает
===
Запрещена индексация всех URL, начинающихся с указанных префиксов:
/?
===
Попытка удаления через указанную ссылку выдает:
===
Документы по адресу http://www.site.ru/? не могут быть удалены из базы Яндекса,
так как данный адрес не запрещен в /robots.txt. Нет оснований для удаления.
===

Собственно в течение месяца, пока эта конструкция висела в robots.txt ни главная страница, ни внутренние страницы, ни страницы вида /?text=abc из гугля и яндекса не исчезли.

Но это ещё не значит, что у Вас будет так же =)

Упал трафик в Яндекс Как дают сайту "настояться"? Малоценная или маловостребованная страница
Оленька
На сайте с 01.11.2006
Offline
19
Оленька
#6
DimaU:
такую конструкцию посоветовали мне в суппорте яши - не будут индексироваться указанные выше конструкции. Для гугла можно использовать вариант Disallow: /*?*

Это значит, что робот Яндекса если находит в robots.txt такую директиву «User-Agent: * Disallow: /?», то он воспримет это как запрет индексации сайта?

DimaU
На сайте с 30.08.2005
Offline
180
DimaU
#7
Оленька:
Это значит, что робот Яндекса если находит в robots.txt такую директиву «User-Agent: * Disallow: /?», то он воспримет это как запрет индексации сайта?

не будут индексироваться ДИНАМИЧЕСКИ генерируемые страницы сайта. Этот вопрос ставил год назад яше по поводу попадания в индекс результатов поиска (от его и гугловской формы поиска по сайту - статическому html)

Jackyk
На сайте с 05.10.2005
Offline
342
Jackyk
#8
DimaU:
не будут индексироваться ДИНАМИЧЕСКИ генерируемые страницы сайта

Ну, это Вы девушку совсем запутаете! :) Динамически генерируемая страница может и не иметь в урле знака вопроса, аднака! И будет тогда чудно индексироваться.

DimaU
На сайте с 30.08.2005
Offline
180
DimaU
#9

верно, извините :) точнее: "динамически генирируемые страницы с символом ? "

например: http_//site.ru/?strf=ляляля&myradio=0 (результаты выдачи от формы поиска)

Оленька
На сайте с 01.11.2006
Offline
19
Оленька
#10
DimaU:
верно, извините :) точнее: "динамически генирируемые страницы с символом ? "
например: http_//site.ru/?strf=ляляля&myradio=0 (результаты выдачи от формы поиска)

Но страницы вида "http://www.site.ru/index.php?id=1&gt=7" при этом будут нормально индексироваться, я правильно поняла?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий