Как поисковики "борятся" с форумами?

К
На сайте с 06.04.2003
Offline
8
515

Наверное киты, типа яндекса никак.

А вот региональные поисковики?

Сам являюсь держателем такого и я попросту замучался вечно находить новые форумы в которых схема генерации страниц и ссылок на эти страницы меня не перестает удивлять.

На одну и ту же страницу там по 50 разных ссылок, как правило это форумы типа phpbb с использованием sessionid в строке запроса.

У меня на малюсенький такой вот форум уходит по 100-200 мб.

Конечно после настройки всяких там вырезаний из строки запроса различного рода sess_id все приходит в норму, но вечно появляются какие-нибудь новые форумы у которых эта подстрока выглядит иначе.. или еще чего хуже.

Кстати, помимо проблем с объемом есть еще проблема с правильным подсчетом релевантности вот для таких серверов.

Есть какие-нибудь радикальные способы борьбы с этим безобразием?

Или я не по адресу? :rolleyes:

-=Илья=-
На сайте с 05.12.2003
Offline
222
#1

Не совсем в тему, но у постнюка тоже работает ID. Да и вообще, если сайт на php, то id присутствует по умолчанию. Я вот сейчас борюсь с тем, что при том, что ни один пользователь у меня не видит сессий, включая меня, а этот странный яндекс ухитряется заносить странички с "POSTNUKEID" в базу. Что забавно, сам сайт давно не постнюк.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий