Вопрос про «Сессии и дубликаты»

Если на сайте присутствует возможность регистрации пользователя (например,
форум), важно как-то запомнить дату его последнего посещения, на каких страницах
он побывал, какие настройки сделал и т. д. Для этого существует механизм
сессий - это уникальные идентификаторы каждого посетителя сайта.

У обычного пользователя идентификатор сессии хранится в Cookie браузера, но
у некоторых пользователей в браузере настройки установлены таким образом, что
Cookie отключены. Если посетитель приходит на сайт с отключенными Cookie, то
для того, чтобы проследить его действия, к каждому адресу страницы добавляется
идентификатор сессии (некая комбинация символов). Такие адреса могут выглядеть
так:

www.site.ru/forum.asp?topic=135&sessionID=42487E39A2B04279A42623E59DFF.

Поисковые роботы не могут принимать Cookie, поэтому получают идентификатор
сессии в адресе страницы, как те пользователи, у которых Cookie отключены.
Каждый раз, когда робот приходит на сайт, в котором используется механизм сессий,
ему присваивается разный идентификатор, который добавляется к адресам страниц,
и каждый раз одни и те же страницы для робота имеют разные адреса. То есть для
него это разные страницы.

После нескольких заходов на сайт в разное время поисковый робот имеет огромные
списки одних и тех же страниц с разными идентификаторами сессий. В результате
расходуются ресурсы сервера, а очередь до индексирования действительно важных
страниц может так и не дойти.

Еще одной проблемой для крупных сайтов могут стать дубликаты страниц. После
того как на сайте была изменена адресация страниц, может возникнуть ситуация, когда
для каждой страницы сайта существует еще несколько ее копий. Приведем
в качестве примера несколько адресов, которые для робота будут разными страницами,
но на самом деле ведут на одну и ту же страницу (предположим, что на сайте были введены
псевдостатические адреса):

www.site.ru/script.php?page=service&imode=show
www.site.ru/service/
www.site.ru/service.html
www.site.ru/service.htm

Если на этом сайте, к примеру, было 1000 страниц, то поисковая система получит
4000 ссылок, а позже вынуждена будет выбирать из четырех копий наиболее релевантную
страницу. Чтобы этого не случилось, нужно проверять страницы сайта и
исключать ситуации, когда по нескольким разным адресам находятся совершенно
одинаковые страницы.

Отдельно следует отметить механизм «Яндекса» по удалению дубликатов: когда
количество одинаковых страниц сайта достигает определенного порога, запускается
специальная программа, которая удаляет лишние страницы из индекса поисковой
системы. Иногда после такой процедуры в индексе просто не остается документов
с сайта, и процесс индексации начинается с самого начала.