Generich, в зависимости от вашего аккаунта сейчас можно до 3 миллионов выгрузить через сервис.
Или у вас в итоге все равно больше 3 млн. строк?
Devvver, напишите нам в личку IP, с которого идут запросы.
Только что проверили - все работает.
Нагрузку создают все запросы - и через интерфейс, и через API (запрос через API ничем особенным не отличается - это тоже запрос, и тоже создает нагрузку).
Devvver, насколько мы поняли суть вашей претензии, вы недовольны тем, что при использовании бесплатного API вы можете получить 429 ошибку.
Причем в последнее время это стало происходить чаще, чем раньше.
Объяснение простое - со временем сервис стали парсить больше, чем раньше, и количество желающих воспользоваться бесплатным API больше, чем наши технические возможности.
Добрый день,
Сегодня мы выпускаем обновление поисковой выдачи баз доменов Яндекс Россия и Яндекс Минск. Период обновления: конец ноября - первая половина декабря 2019.
Проверить ключевые слова домена: https://www.bukvarix.com/site/
Сравнить ключевые слова двух доменов: https://www.bukvarix.com/cmp/
Найти общие ключевые слова для нескольких доменов: https://www.bukvarix.com/mcmp/
Для нас бот - это программа или сервис, которая автоматически (т.е. без участия человека) делает запросы к нашему серверу (через API или напрямую к сервису - значения не имеет).
Пусть напрямую пишут нам с указанием IP, через который идет парсинг, на уровне конкретного IP мы почти всегда (в разумных пределах) сможем сделать исключение. Вот контакты:
https://www.bukvarix.com/contact.html
Снять защиту мы не можем, поскольку, повторимся, желающих воспользоваться бесплатным API больше, чем наши технические возможности. И со временем количество ботов только увеличивается.
Сервис Букварикс парсят постоянно: и в 6 утра, и в 12 ночи. И именно боты создают большую часть нагрузки. Желающих воспользоваться бесплатным API больше, чем наши технические возможности.
Если после паузы ошибка 429 осталась, то нужно увеличить время паузы. Если паузы не делать и постоянно "долбить" сервер - то IP попадет в долгосрочный бан.
... Напишите нам в личку IP, с которого идут запросы - если он в списке забаненых, то мы уберем IP из этого списка и вы сможете возобновить запросы.
Здравствуйте, Devvver, бесплатный API лимитирован - желающих им воспользоваться больше, чем наши технические возможности.
Лимит на запросы через бесплатный API плавающий - от пары запросов в минуту до пары десятков запросов в минуту, это зависит от многих факторов: текущей нагрузки на сервер, с какого IP идет запрос, насколько "чистый" IP (т.е. не прокси) и т.д. Поэтому при получении 429 ошибки нужно сделать паузу перед следующим запросом.
Если после паузы ошибка 429 осталась, то нужно увеличить время паузы. Если паузы не делать и постоянно "долбить" сервер - то IP попадет в долгосрочный бан (особенно это касается паблик-прокси).
Здравствуйте,
Сегодня мы обновили поисковую выдачу баз доменов Яндекс Москва и Яндекс Санкт-Петербург. Период обновления: ноябрь 2019.
Сегодня обновлена поисковая выдача баз доменов Яндекс Россия и Яндекс Минск. Период обновления: конец октября - первая половина ноября 2019.
