Методы проверки индексации (непота, etc) ссылок

Доделали наконец скрипт. Заняло больше времени, чем предполагалось, так как решили предусмотреть также различные нюансы типа проиндексированности ссылки только быстророботом, наличие в тексте ссылки спецсимволов, которые надо удалять при подаче запроса к Я и т.д.

Предлагаю всем желающим сравнить результат работы скриптов. Присылайте в личку выборки сайтов, указывая результат проверки вашим скриптом. Буду возвращать результат проверки своим.

Chewi, полный метод озвучим? :)

в этом пункте, Ваш скрипт ищет тоже по сохраненным копиям, и отделяет ли их от быстророботовских?

Да он, собственно, уже был озвучен неоднократно в этом топике.

Из того, что не озвучено - нужно учитывать, как Яндекс индексирует, какие-то нюансы (например то, что я написал в предыдущем посте). Я отнюдь не уверен, что мы все эти нюансы учли, и учли правильно :) Поэтому и предлагаю желающим потестировать и сравнить со своими результатами.

Ищет по сохраненным копиям. Отделяет. Точнее, должен отделять, но пока таких не попадалось (мы пока протестировали не много сайтов). Если у Вас есть пример такого сайта, пришлите плз.

то есть не попадались быстророботовские?.... вы анкоры с донора берете по сохраненной копии ? смотрите чтобы она была не быстророботовская?....а ведь еще при поиске уникальных ссылок при просмотре остальных сайтов, которые могут содержать активную ссылку на изучаемый акцептор тоже нужно по идее смотреть по сохраненным копиям? так?

Анкоры берем с сохраненной (и вот здесь быстроробота еще не попадалось), а что касается второй части, то такого не делали (хотя по идее надо :)). По идее надо не только смотреть, быстророботная она или нет, а если быстророботная, то брать для этого документа сохраненную копию версии не от быстроробота и смотреть, есть ли в ней проверяемая ссылка или нет. И вот если в обычной версии документа ссылки нет, а в быстророботной есть, то, по идее, в анкор-файл акцептора эта ссылка еще не попала, и поэтому при проверке уникальности ее учитывать не нужно.

в том то и дело, что не только донорскую сохранненную копию нужно брать нужную, но и остальных потенциальных доноров при проверки на уникальность...быстророботные часто попадаются, как вы их так берете, что они вам не попадаются? по какому принципу?