В стандарте для robots.txt такое слово обязано присутствовать в каждом блоке.
Если вы хотите знать, какие страницы у вас на сайте есть, их не помешает посчитать. Хотя, если вам все равно и главное, чтобы их было как можно больше в индексе, тогда можете не считать. Ведь вы же хотите найти причину уменьшения?
Еще ход - это натравить на сайт программу, обходящую весь сайт по ссылкам, сколько она выдаст страниц.
"грузчики хотят заработать на бухло" (с) спам :).
Извините, вырвалось.
А с &rd=0 столько же?
P.S. Торможу, сайт же в подписи, одинаково.
Тогда обратите внимание, что с www тоже есть страницы.
В robots.txt я бы второй строчкой написал
Disallow:
А еще сделайте перечень, какого типа у вас есть страницы и почситайте каждый такой вид в яндексе, просуммируйте.
Как правило, типов дублей немного, их можно отловить быстро по неожиданным адресам. А заради блага заказчика своих глазов должно быть не жалко!
Нет, ну если адреса с пятью параметрами, тогда нафиг конечно, такие URL надо истре****ь на корню.
Да нет, вопрос не странный, просто термин неудачный.
Чтобы посмотреть, нет ли дублей, можно сравнить количество страниц в Яндексе и Рамблере, или в Яндексе добавить rd=0 и сравнить количество страниц.
Я обычно смотрю перечень страниц в Рамблере, там иногда такие неожиданные адреса всплывают ...
Вы бы написали, зачем он вам, а вам тут подскажут, сколько стоит им позаниматься, если у вас нет более конкретных вопросов ;).
именно так. Насчет файлов - не понял, что за файлы.
Почему бы не обратиться к первоисточнику, в котором написано черным по белому:
Disallow The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.
partial path означает не любой кусок, выхваченный из середины, а кусок от начала URL.
Извините, но вы написали ерунду. В Disallow пишется весь путь от начала сайта: /
Я не очень понял ситуацию, какова тут ваша роль? Вы и есть ваш знакомый, или представитель фирмы? А то какой-то абстрактный разговор с абстрактными вопросами получается.
