автоматизированное определение наличие списка URL в индексе Яндекса

12
[Удален]
2782

Наверняка тема поднималась, но сил читать всю ветку нет. Просьба помочь советом. Если есть возможность помочь php-скриптом, алгоритмом - еще приятнее.

Идея такая. Есть куча URL. Хочется автоматизированно определять их наличие в индексе Яндекса.

Спасибо за помошь!

[Удален]
#1

Я использую обычно allsubmitter

или как вариант www.raskruty.ru/tools/index/

[Удален]
#2

Меня интересует не система, а сам алгоритм.

В конечном счете все эти системы опрашивают сам Яндекс.

Кто может подсказать сам алг?

Antonio1 добавил 02.02.2010 в 16:40

И еще! Мне интересно определять не URL Сайта, а URL статьи.

Например узнать в индексе ли: www.site.ru/atricle.php?statia=000073000

А когда таких статей много.. 100-200. Как узнать скриптом?

nocomments
На сайте с 12.11.2009
Offline
189
#3

вариант 1) http://xml.yandex.ru/examples.xml, запрос думаю сами напишете, адрес лежит в /yandexsearch/response/results/grouping/group/doc/url

ну как вариант запроса сгодится чтото типа вот этого: url="site.ru/atricle.php?statia=000073000"|url="www.site.ru/atricle.php?statia=000073000"

вариант 2) загребайте кеш страницы в яндексе, если он есть и имеет чтото типа размера - всё оке. но тут вам предстоит узнать что вы робот.

в частности "ваша" страница не в индексе: http://hghltd.yandex.net/yandbtm?url=http://www.site.ru/atricle.php?statia=000073000&text=

Это счастливая рефка: {жать сюда} (http://bit.ly/WbMR4O) тому, кто по ней разместит больше всего статей, будет сопутствовать счастье всю его оставшуюся, длинную, обеспеченную жизнь.
Malcolm
На сайте с 02.05.2007
Offline
119
#4
nocomments:
загребайте кеш страницы в яндексе, если он есть и имеет чтото типа размера - всё оке

Чушь какая. В кэше полно страниц, которых давно нет в индексе.

OG
На сайте с 14.12.2003
Offline
78
#5
nocomments:
вариант 1) http://xml.yandex.ru/examples.xml, запрос думаю сами напишете, адрес лежит в /yandexsearch/response/results/grouping/group/doc/url
ну как вариант запроса сгодится чтото типа вот этого: url="site.ru/atricle.php?statia=000073000"|url="www.site.ru/atricle.php?statia=000073000"

Кто пробовал? Инетерсует скорость обработки запроса. Ну, скажем, если одновременно 100 адресов отправить...

nocomments
На сайте с 12.11.2009
Offline
189
#6
Malcolm:
Чушь какая. В кэше полно страниц, которых давно нет в индексе.

какая? )) покажите чтоли пример страницы в яндексе, которая есть в его кеше, но её нет в индексе. 1шт. достаточно.

OSTG:
Кто пробовал? Инетерсует скорость обработки запроса. Ну, скажем, если одновременно 100 адресов отправить...

пробуем каждый день, зависит от скорости вашего интернета, пол-секунды, может меньше на запрос, фикзнает.

asfadel
На сайте с 29.12.2009
Offline
40
#7
Текущие ограничения: поисковых страниц в день не более 1000, групп на странице не более 20, документов в группе не более 3, пассажей в документе не более 5, длина запроса в символах не более 400, слов в запросе не более 80, число страниц при листании не более 100.

OSTG, вот оно как.

OG
На сайте с 14.12.2003
Offline
78
#8

Что-то у меня есть сомнения, что через вариант1 определяют индекс на САПЕ и пр...

E
На сайте с 21.09.2009
Offline
283
#9
Antonio1:
Меня интересует не система, а сам алгоритм.
В конечном счете все эти системы опрашивают сам Яндекс.

Кто может подсказать сам алг?

Antonio1 добавил 02.02.2010 в 16:40
И еще! Мне интересно определять не URL Сайта, а URL статьи.

Например узнать в индексе ли: www.site.ru/atricle.php?statia=000073000

А когда таких статей много.. 100-200. Как узнать скриптом?

Простите не совсем пойму что значит алгоритм. софт сами писать будете?

Вы хотите просто узнать есть ли строка в яндексе?

в скрипт вводите строчку он запрашивает яндекс через site:url и парсит ее с выдачей на какой странице. так чтоли?

zxcvb
На сайте с 26.11.2007
Offline
69
#10

Antonio1, если из бесплатного, то вот прога довольно неплохо проверяет (не скрипт правда, десктопная)

http://www.yccy.ru/

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий