Парсер проиндексированных страниц яндексом!1000 страниц придел?

добавлять

inurl:{ru|ua|com} или как там в Яндексе. Короче добавлять условия, которые сокращают выдачу..

в том то и дело что вариантов запросов в Яндекс не столько сколько можно придумать для гугла

Bitman, у гугля существует вариант парсинга больше 1к?

Это все примерно (Гугл не отдает много результатов на инюрл)

пусть запрос "каталог сайтов"

inurl:"ru" - 1000

inurl:"ua" - 1000

inurl:"com" - 1000

...

итого 3000

-inurl:"A"

-inurl:"B"

-inurl:"C"

и так еще можно скатать тыс пять.

По-моему, вопрос был о том, как пропарсить все страницы одного сайта.

Т.е. тогда уже надо просто разные слова в поиск по сайту пускать, а не зоны выбирать.

Но есть и ещё один способ - взять паука, который создаст список страниц (таких много в свободном доступе) и затем последовательно засунуть страницы в Яндекс и проверить их индексацию.

Так же склоняюсь к этому варианту. Единственный минус: если страниц много, или в индексе мало - то запросов может получиться в разы больше чем необходимо

гугл можно хитрым datarange с юлианским форматом дат пользоваться

+1 куплю тулзу которая проверит на индекс сайт с много тысяч страниц

Как вариант тянем пауком карту сайта и чекаем каждую страницу на индекс.

Я делаю так.

Много,

чекаем по разделам

Много,

чекаем по частям раздела

главное выделить урлы по которым можно составить правило, по которым разбивается весь сайт на кол-во страниц<1000