вот дока http://sci-hub.org/mail/link.php?u=aHR0cDovL3NjaS1odWIub3JnL3BkZmNhY2hlLzg5YjcwNzU3ZGU4NWY5NTIzODkyYzIzYjY1Y2U2MjhlLnBkZg%3D%3D&doi=10.1145/2505515.2507890
парсить всё что надо + думаю можно с соломоно договориться на API(платно конечно) или что-то типо того
http://analyzethis.ru/?analyzer=update&location=ru&lang=ru
не существующие страницы должны отдавать статус 404, а не 301...
Всем спасибо за советы
да, интересует "всякий мусор":) ну не совсем конечно безчастотный, к статистике доступов нету, есть грубо говоря только сайт и список продвигаемых запросов.
В идеале, конечно нужен парсер вордстата,чтобы вбить базовые запросы, а робот уже парсит вордстат и по всем запросам пробегает и показывает позицию сайта...никто не вcтречал чего нибудь такого???:):):)
околотоповые запросы - запросы запросы по которым сайт близко к топу 20-30 позиции.
в чём разница то?
самый верный способ посмотреть как делают конкуренты, понять почему так, сделать лучше...зачем изобретать велосипед???
это что-то вроде перелинковки...в отдельных блоках думаю мало толку от этого, но думаю что лучше уж такое подобие чем ничего совсем...ну да естественно в не таких больших объёмах