У меня нормально работает.
Попробуйте изменить юзер-агента или настройки краулинга.
Еще есть Similarweb. В подписке они показывают топ-10к сайтов по трафику в регионе. Держите по топ-100 из каждой их категории (всего 20к+ сайтов) - https://yadi.sk/i/MumI06wX3HqVNG
Формат: домен;категория;место в категории
Так быстро и удобно посмотреть историю позиций по множеству ключей любого сайта вряд ли еще где-то получится.
В Serpstat можно посмотреть только историю видимости сайта (их своя оценка), но и для Google, и для Яндекс. Такую таблицу по запросам можно получить только если добавить проект на пробивку позиций. Если повезет - по фразам будет история. Но для этого нужна платная подписка.
В аhrefs можно смотреть динамику позиций любого сайта по их базе Google. Но там нужно наживать у каждой фразы и смотреть на график.
Еще для Google историю топов по большому количеству запросов можно смотреть в Seranking (новый инструмент, в меню светится как Альфа) и по API Semrush.
Может поможет
https://serpstat.com/ru/crawling-services/
https://rankactive.com/resources/api
https://support.alexa.com/hc/en-us/articles/200461990-Can-I-get-a-list-of-top-sites-from-an-API-
тут есть ссылка на http://s3.amazonaws.com/alexa-static/top-1m.csv.zip, там csv с 1м доменов.
Встану в защиту серпстата. Только что попробовал сделать 1к запросов типа domain_info. С выдачей результата заняло 158 сек. Т.е. ~540к запросов в сутки. Но эти все запросы были для g_ua. Возможно для других поисковиков время будет другим. Тут нужно проверять и писать сразу в поддержку.
Кстати, Shaltick, а зачем вы делаете два запроса к http://bar-navig.yandex.ru/ с www и без? Разве нельзя уменьшить число запросов анализируя тег url и атрибут domain. Просто я делаю так. Например, для http://bar-navig.yandex.ru/u?ver=2&url=http://tissot.ua&show=1 сходу видно, что главное зеркало с www и т.к. тиц не нулевой для www можно не делать запрос.
ru.megaindex.com, semki.pro
Есть подобный скрипт для API Ahrefs. Стоит как в подписке Standart, т.е. $1 за 1000 rows (их внутренние параметры, подробно тут описано https://old.ahrefs.com/api) . Оплата Webmoney. Если подходит, пишите в ЛС.
Если страница, на которой появится ссылка, имеет большой вес, то и ссылка передаст нормально весу. При этом она скорее всего не будет естественной в глазах гугла. Если не переборщить - будут плюс позиции, в противном случае - фильтры.
Лучше поставить ссылки в новых тематичных статьях.
Советую проанализировать конкурентов из топа и посмотреть насколько тематичные ссылки на них.
Я подобное смотрю на semki.pro. Например, http://semki.pro/smrank/ozon.ru?mode=normal. тут и траст, и посещаемость, и ссылки. Насчет апи, пока, вроде, нет.
