Проверка сайта на наличие ссылки

Через яндекс проверять - самый лучший вариант, но нельзя делать скрипт автоматически удаляющий ссылку. У меня скрипт выдаёт два списка - Найденные ссылки и Не найденные. По второму списку приходится отслеживать, не появятся ли они через некоторое время. Очень часто страницы со ссылками из Яндекса выпадают. Через месяц опять проверяешь, смотришь, те ссылки, что недавно пропадали, снова находятся.

Всем спасибо за ответы - разобрался.

ПыСы. Тем кто отвечал по делу - плюс в репу.:)

Стоит помнить, что Яндекс банит ipшники сайтов, создающих большой "нечеловеческий" :) трафик. Нам пришлось ретранслятор делать.

Ну на 20 сайтов ежедневное определение позиций с глубиной поиска до 10 станиц по 10 на каждой вроде ничего пока.

Интересно какой траф пошлет айпи в бан?

А как это Вы ретранслятор сделали, поделитесь, плиз.

А можно примерно какую-то цифру, о "нечеловеческим" трафике.

Ибо для данного скрипта, при проверке 10-тка ссылок уже хороший трафик получается. Стоит ли об этом сразу задумываться?

DJ_Petrovich, Яндекса парсить, это неплохо, но можно и невиновного грохнуть. Яндекс может запросто "не видеть" ссылку даже на честно проставленную директорию/страницу. Вам надо для себя решить, выкидывать тех, кого нет в выдаче Яндекса, или тех, кто реально не проставил ссылку.

В том случае, если кто-то не проставил ссылку и вам надо его проверить, стоит парсить ссылки с морды... и до глубины, которую вы себе поставили, как максимальную до вашей ссылки. Ну, к примеру, не глубже 2 или 3 директорий от тайтла.

Но обычно, пациент указывает свою reciprocal page. Соответственно, если вам нужна рега по проверке на странице, то что-то вроде (приблизительно):

'/^(.*)?<a\040(.*)?href=("|')*(http://вашсайт)(.*)?>(.*)$/im'

Проверял прогой примерно таким же образом наличие обраток и вот такие ситуации были: 4 месяца назад поменялся с 3 сайтами одного чела, яндекс все это время не показывал наличие ссылок. Проверил вручную, по всем параметрам ссылка должна индексироваться (отдавал прогой в заголовках робота яндекса). И тут, о чудо, неделю назад все таки эти ссылки появились.

Так что такая проверка - хороший способ, но не самый оптимальный

Еще одно подверждение тому, что проверять надо именно на странице партнера.