Дубликаты страниц с разным хешем в конце.

D7
На сайте с 29.09.2014
Offline
4
308

Здравствуйте. Как удалить дубликаты страниц с хешем в конце, из офлайн браузеров и программ для поиска ссылок сайта? Вот скрин работы SiteMap Generator: http://s7.hostingkartinok.com/uploads/images/2014/10/92d76906faabc9856e831ba3dfb73a63.jpg - копии страниц, с бесконечными вариациями хеша и мусора после .aspx

Программа работала неделю подряд без выключения компа, так как перерыв в ней не предусмотрен, а по достижении почти 100.000 вылетела и все результаты пропали.

Может кто-то еще сталкивался с этой проблемой и неразрешимым препятствием? Какие есть программы умнее, не засчитывающие хеш и мусор? Спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий