Дубли - найти и обезвредить

D
На сайте с 27.02.2008
Offline
34
513

Подскажите плиз как найти дубли и мусор в индексе. Может есть софт или другой метод.

Задача в следующем:

Есть сайт, Яндекс про индексировал в нем 5 000 стр. Часть из которых мусор, часть из которых дубли....

Но есть и нормальные стр., как можно определить что содержание двух ссылок одинаково?

За ранее спасибо.

[Удален]
#1
diverck:

Есть сайт, Яндекс про индексировал в нем 5 000 стр. Часть из которых мусор, часть из которых дубли....
Но есть и нормальные стр., как можно определить что содержание двух ссылок одинаково?

смотрим ручками на этот мусор, и сами закрываем

D
На сайте с 27.02.2008
Offline
34
#2

Спасибо

Сбываются мои самые пессимистичные предположения....

Люди, подскажите все ли руками выбирают или есть лазейка? ;)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий