Методы проверки индексации (непота, etc) ссылок

Я вижу возможность проверки на непот в первом приближении так:

1. Проиндексирована ссылка? Найден ли Реципиент «по ссылке»?

Посылаем текст ссылки в кавычках (исключая спецсимволы). Ищем Донора. Ищем Реципиента. Если не находим одного из них – останавливаем проверку. Проверяем, является ли найденный текст на доноре ссылкой (парсим сохраненную копию). Если все ок - п.2.

2. Есть ли дубли?

Получаем список всех сайтов, посылая текст ссылки в кавычках. По сохраненным копиям смотрим, куда ведут ссылки. Если ни одной, кроме донора не ведет на реципиент – ссылка уникальна. При первом нахождении урла реципиента останавливаем проверку (ссылка не уникальна).

Будет работать если анкоры ссылок не встречаются часто в рунете (т.к. парсить 5 558 сайтов, найденных по запросу кондиционер (http://www.yandex.ru/yandsearch?text=%EA%EE%ED%E4%E8%F6%E8%EE%ED%E5%F0)– невесело)

А сервера на что люди придумали?

Просто парсинг 5К ( а унекоторых и 10К++ есть) сайтов быстро не сделаешь...

ТОгда просто позиции пореже смотреть... :) Разок-другой в недельку.

Вот только метода Ваша заставляет меня где-то смущаться... Пока занят и не могу въехать, что мне не нравится... 😒

Ну тут тоже не все так плохо:

хотя бы даже так:

нам нужна только эта словоформа:

http://www.yandex.ru/yandsearch?text=%22%EA%EE%ED%E4%E8%F6%E8%EE%ED%E5%F0%22

А это уже вдвое меньше.

Можно еще предварительно вот такой запрос сделать - в большом кол-ве случаев анкор уже тут окажется неуникальным.

Ну и т.д

Я и написал - парсинг. Парсить руками и глазами пока не научился ;-)

А то что не нравится - "Нравится не нравится - спи моя красавица" - на не аргументированное высказывание и возразить нечего.

С этим полностью согласен.

В принципе, тоже согласен. Иногда позволит сократить время проверки.

настройки парсера в этом плане могут зависть от "важности" проверяемого сайта для размещения своей ссылки...имхо тенденция появляния более "редко встречающихся ссылок" на сайтах становится заметной, так что с проверками ссылок все ок )

8) пугаешь прям... :)

Правильно ли я думаю, что единственная возможность увидеть ссылку глазами Яндекса - это смотреть "сохранённую копию"? Или есть ещё варианты?

Опять же, чем плох метод - в начале найти ссылку с анкором без помощи Яндекса, а потом средствами Яндекса проверить известность ему анкорного текста (в т.ч. с помощью запросов а-ля "анкор"<<"урл")? Большой процент неоднозначных ситуаций?

(Вон, dantess сколька уточнений предложил... респект. :))

самое простое теперь как необходимое и достаточное ставить продавцам уникальную ссылку-метку на морде, ссылки с таких морд будут влет уходить

Согласен "гидроабразивная резка металла" +камня <<url="flowrussia.ru" 😂

попробуйте так - "гидроабразивная резка металла" +для вас <<url="flowrussia.ru"

Сказал Константин загадочно, отдавая программистам новое ТЗ :) для сервиса.