автоматизированное определение наличие списка URL в индексе Яндекса

12
S2
На сайте с 07.01.2008
Offline
611
#11
nocomments:
какая? )) покажите чтоли пример страницы в яндексе, которая есть в его кеше, но её нет в индексе. 1шт. достаточно.

Пример приводить не буду, но сайт который был забанен Яндексом и полностью вылетел из индекса, до следующего апа продолжал выдаваться в серпе - только через несколько дней, после очередного апа, кэшированные страницы исчезли из выдачи.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
OG
На сайте с 14.12.2003
Offline
78
#12

удалено........................

skAmZ
На сайте с 04.09.2009
Offline
122
#13

Собствено, если проверять надо много, то регайте много ip в xml, проблем меньше, если же требуется разово, то скрипт не сложный, нужно только задержку правильную поставить (промахнетесь будите капчи получать, как показала практика 15 минутные, если после 1-й же остановится).

запрос к яндексу: inurl="site.ru\page.html"|inurl="www.site.ru\page.html" (без http, без / на конце, даже если есть).

В результате получаем страницу вида: http://yandex.ru/yandsearch?text=inurl%3D%22site.ru%5Cpage.html%22%7Cinurl%3D%22www.site.ru%5Cpage.html%22&lr=35

Качаем страницу, не хитрым регулярным выражением выдергиваем все ссылки, сравниваем все и исходной (с 2-мя исходными, www и без). Аналогичные дейсвия с xml, даже запрос тот же. Стоит учесть символы не записанные в RFC)

Malcolm
На сайте с 02.05.2007
Offline
119
#14
nocomments:
какая? )) покажите чтоли пример страницы в яндексе, которая есть в его кеше, но её нет в индексе. 1шт. достаточно.

Читайте букварь, nocomments, читайте. Осилите проверить кэш в яндексе или прямые ссылки давать?

http://www.djmir.ru/set/393-dj-josh-wink-dj-chart-october-2009-beatport.html

http://createvrn.ru/index.php?page=129
http://addtowish.ru/369
http://1reviews.ru/129
http://multipleitems.ru/147
http://medicalcondition.ru/123
http://detoxification.ru/72
http://ballarddesigns.ru/471
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий