Чем можно сопоставить ссылки?

Может и геморно, но мне видиццо так:

1. Парсишь ксеной.

2. Обрезаешь лишнее, оставляй только урл и title

3. В том же экселе сортируешь по тайтлам.

4. Если тайтлы совпадают - значит получится.

В итоге должна получиться такая табличка:

URL1 | тайтл1 | тайтл2 | URL2

Я забыл написать, тайтлы тоже поменялись... Так что нужно как то измерять процент схожести... В принципе на php думаю не сложно будет написать :) Сейчас читаю про функцию similar_text();

а что осталось одинакового? Тексты?

Да, но и тайтл впринципе одинаковые немного только видоизменились... Вообщем Xenu тут помощник только в качестве парсера...

Никак не могу вспомнить, как называется программа, которая собирает с сайта все данные, h1, текст, title. Что-то там с лягушкой было связано, точно не помню.

Вот там уже есть где развернуться.

Вспомнил!!!! http://adminpab.ru/seo-soft/screaming-frog-seo.html

Спасибо, вечерком заюзаю...