Лучше это сделать на стороне сервера, например на PHP:
header("Location: /new-url.html");
Способов несколько: с помощью <meta>, JavaScript, на стороне сервера. Какой именно Вас интересует?
1. Да
2. Yandex, StackRambler, Aport, Googlebot
Воспользуйтесь поиском по форуму. Эта тема неоднократно и подробно обсуждалась.
Так это и есть разные страницы, просто в данном конкретном случае они одинаковы.
Радость не всегда оправдана, поскольку в этом случае все характеристики страницы неравномерно распределяются между двумя адресами, соответственно обе страницы будут ниже в результатах поиска, чем одна, для которой характеристики складываются.
Лучше всего вариант №1.
А в чем заключается разница в их индексации рамблером?
А как тогда индексируются сайты с динамическим контентом, как этот форум, например?
Скорее всего неудачно отредактированный пример.
Неправильные конструкции игнорируются.
Если на эти директории нет ссылок в свободном доступе, то робот о них знать не будет, указывать такие директории в robots.txt совсем не обязательно.
nestor, В каждой записи в robots.txt должен быть хотя бы один Disallow, а у Вас они все закомментированы.
Надо добавить строку
Disallow:
с пустым значением или удалить вообще все из файла.
Interitus, добрался, наконец, до логов. За декабрь:
Googlebot - 4746;
Slurp - 5127.
