Cherny

Рейтинг
120
Регистрация
19.09.2001

AiK, Вы, на мой взгляд, все несколько усложняете.

Программисту, пишушему парсер robots.txt, как раз проще всего.

Он берет две строки:

1) Строку URI или URL или как там правильно называется то, что запрашивается GET'ом;

2) Строку Disallow из robots.txt соответствующего домена

и делает регистрозависимый поиск 2-й строки в начале 1-й. Если найдена, ссылка закрыта, если нет -- добро пожаловать робот!

Именно поэтому где-то рядом я писал Nicon'у, что при закрытии динамических страниц важен порядок параметров скрипта в ссылке.

Так я <meta> тоже норовлю поставить, если меня не устраивает кодировка, которую выдает сервер :p, а Frontpage еще лепит <meta name="Generator" content="Frontpage bla-bla-bla">.

Кстати о птичках:

2Gray

Рекомендуется совсем немного подредактировать Frontpage'м страничку с формой поиска, раз уж этот монстр кодировку ставит. ☝

Как писал Gray
Есть казаки. В России.
Есть козаки. В Украине.
И есть К'озаки. В Одессе.

А есть непроверенные данные, что к(о|а)заки -- некая национальность или этническая группа. Последняя перепись (на|в) Украине это косвенно подтверждала.

А ни у кого не сохранилось что там было? Не успел я

Да просто лесенки <div align=center> на каждую фразу.

"Charset" стоит, значит скорее всего действительно Frontpage.

Charset, действительно, почти никакого отношения к Frontpage не имеет. Разбаловал вебмастеров Russian Apache и "народный" браузер IE :(

За редирект на уровне серсера. Который честно выдает отклик 301 или 302.

Господин melkov где-то на этом форуме говорил, что конструкция

<META http-equiv='refresh' content='0; url=/main/welcome.php'>

приравнивается Яндексом к серверному редиректу.

Как писал AiK
Не уверен, но что-то мне подсказывает, что и
Disallow: /sitemap
директорию не запрещает :)
Я бы писал так
Disallow: /sitemap/

Ай-ай-ай, господин академик! 🙅

Пожалуйста.

ЗЫ. Я черниговское люблю ;)

У меня только 70% входят через рут (в трафике поисковиков - большинство)

Вопрос не о пути посетителя, а о конструировании ссылок на страницы, а это несколько разные вещи.

Ничего не мешает написать так:

Disallow: /result_details_print.asp

Disallow: /result_details.asp?come=0

Остальные страницы в Вашем примере должны нормально индексироваться.

Со вторым путем возникнут проблемы, если найдутся ссылки вида

http://www.domain.ru/result_details.asp?id=479&come=0

Простите, а много ли толку от такой схемы?

Если ссылки формируются динамически, то лучше делать текст ссылки с текстом а саму ссылку с id. Так надежнее.

Всего: 1011