Запрос был и работал как надо. Но Яндекс отменил часть операторов:
https://yandex.ru/blog/webmaster/izmeneniya-v-yazyke-zaprosov
Именно они использовались при проверке аффилированности.
На текущий момент - проверка не работает.
Если конечно кто-то знает новый запрос, который не использует отменённые операторы - прошу поделиться )
Есть купленный Comparser )
До 1000-ти страниц иногда парсю через AllSubmitter.
Можно подойти к проблеме с другого бока. Спарсить все страницы вашего сайта и проверить их на индексацию в двух ПС.
Естественно, способ подойдёт в том случае, когда страниц не очень много.
Это можно сделать через плагин Вебмастер SAPE проверить список страниц на индексацию (затраты только на капчу).
Comparser сравнивает страницы сайта и индекс Яндекс (Google), но не два индекса, а как я понял из первого поста - требуется именно это.
Впрочем, никто не мешает спарсить им проиндексированные странички, и сравнить уже в Exel.
Проиндексированные страницы Яндекса - можно выгрузить через Вебмастер.
Проиндексированные страницы Google - могу вам спарсить (если сайт конечно, не суперогромный).
Есть официальные рекомендации Платона на этот счёт:
https://yandex.ru/blog/platon/2878
(пункт 2)
Правда данный вариант решения противоречит рекомендациям Google:
https://webmasters.googleblog.com/2013/04/5-common-mistakes-with-relcanonical.html
Проверьте текстовым анализатором Just Magic.
Вполне может быть переспам за пакетность в меню.
JM разделяем документ по зонам (зона ссылок, зона текста, зона текстовых фрагментов).
Смысл в таком делении есть, иногда подсказываются правильные идеи.
В зоне ссылок у вас может быть проблема.
Можно парсить через Yazzle. Только укажите в качестве источника не выдачу, а XML, тогда проблем с зависанием не будет.
А для получения данных по XML можно использовать http://seozoo.ru/
Мне кажется проблема глубже.
К примеру, вот сайты которые программа отказывается сканировать:
http://www.oridis.ru/
http://ajan.ru/
http://fangarden.ru/
(для первого и второго сайта возможно проблема связана с тем, что ссылки с www - считаются внешними)
А вот этот сайт сканируется без проблем:
http://pakstar.ru/
Указал User-agent "Браузер Сhrome (Windows 10)". Проблема со сканированием осталась.
К слову, другие краулеры (Comparser, Netpeak Spider) нормально сканируют сёрч на настройках по умолчанию.
Что уже можно проверять на работоспособность в этой версии?
По-прежнему есть проблема со сканированием ряда сайтов.
К примеру, если ввести URL для начала анализа:
/
просканируется только главная страница и на этом парсинг остановится.
Кто-нибудь связывался с автором программы? Он нигде не отвечает?
