Devvver: Для этого и делают API = чтобы не насиловали основной интерфейс и не грабили инфу, создавая нагрузку.
Нагрузку создают все запросы - и через интерфейс, и через API (запрос через API ничем особенным не отличается - это тоже запрос, и тоже создает нагрузку).
Devvver, насколько мы поняли суть вашей претензии, вы недовольны тем, что при использовании бесплатного API вы можете получить 429 ошибку.
Причем в последнее время это стало происходить чаще, чем раньше.
Объяснение простое - со временем сервис стали парсить больше, чем раньше, и количество желающих воспользоваться бесплатным API больше, чем наши технические возможности.
Сегодня мы выпускаем обновление поисковой выдачи баз доменов Яндекс Россия и Яндекс Минск. Период обновления: конец ноября - первая половина декабря 2019.
Devvver: Боты которые работают по API ? Что за боты такие ?
Для нас бот - это программа или сервис, которая автоматически (т.е. без участия человека) делает запросы к нашему серверу (через API или напрямую к сервису - значения не имеет).
Devvver: Мне жалуются пользователи на то что получают эту ошибку. Я решил проверить проблему = убедился в ней. Какой мне толк с того что вы вытащите мой IP из бани? У других от этого не перестанет банить IP.
Пусть напрямую пишут нам с указанием IP, через который идет парсинг, на уровне конкретного IP мы почти всегда (в разумных пределах) сможем сделать исключение. Вот контакты:
Снять защиту мы не можем, поскольку, повторимся, желающих воспользоваться бесплатным API больше, чем наши технические возможности. И со временем количество ботов только увеличивается.
Сервис Букварикс парсят постоянно: и в 6 утра, и в 12 ночи. И именно боты создают большую часть нагрузки. Желающих воспользоваться бесплатным API больше, чем наши технические возможности.
Devvver: Я еще раз вам пишу - делал по 10 минут задержку - все равно 429. Или 10 минут это мало?
Если после паузы ошибка 429 осталась, то нужно увеличить время паузы. Если паузы не делать и постоянно "долбить" сервер - то IP попадет в долгосрочный бан.
... Напишите нам в личку IP, с которого идут запросы - если он в списке забаненых, то мы уберем IP из этого списка и вы сможете возобновить запросы.
Здравствуйте, Devvver, бесплатный API лимитирован - желающих им воспользоваться больше, чем наши технические возможности.
Лимит на запросы через бесплатный API плавающий - от пары запросов в минуту до пары десятков запросов в минуту, это зависит от многих факторов: текущей нагрузки на сервер, с какого IP идет запрос, насколько "чистый" IP (т.е. не прокси) и т.д. Поэтому при получении 429 ошибки нужно сделать паузу перед следующим запросом.
Если после паузы ошибка 429 осталась, то нужно увеличить время паузы. Если паузы не делать и постоянно "долбить" сервер - то IP попадет в долгосрочный бан (особенно это касается паблик-прокси).
Generich, в зависимости от вашего аккаунта сейчас можно до 3 миллионов выгрузить через сервис.
Или у вас в итоге все равно больше 3 млн. строк?
Devvver, напишите нам в личку IP, с которого идут запросы.
Не могу, а 100 % получаю
Только что проверили - все работает.
Для этого и делают API = чтобы не насиловали основной интерфейс и не грабили инфу, создавая нагрузку.
Нагрузку создают все запросы - и через интерфейс, и через API (запрос через API ничем особенным не отличается - это тоже запрос, и тоже создает нагрузку).
Devvver, насколько мы поняли суть вашей претензии, вы недовольны тем, что при использовании бесплатного API вы можете получить 429 ошибку.
Причем в последнее время это стало происходить чаще, чем раньше.
Объяснение простое - со временем сервис стали парсить больше, чем раньше, и количество желающих воспользоваться бесплатным API больше, чем наши технические возможности.
Добрый день,
Сегодня мы выпускаем обновление поисковой выдачи баз доменов Яндекс Россия и Яндекс Минск. Период обновления: конец ноября - первая половина декабря 2019.
Проверить ключевые слова домена: https://www.bukvarix.com/site/
Сравнить ключевые слова двух доменов: https://www.bukvarix.com/cmp/
Найти общие ключевые слова для нескольких доменов: https://www.bukvarix.com/mcmp/
Боты которые работают по API ? Что за боты такие ?
Для нас бот - это программа или сервис, которая автоматически (т.е. без участия человека) делает запросы к нашему серверу (через API или напрямую к сервису - значения не имеет).
Мне жалуются пользователи на то что получают эту ошибку. Я решил проверить проблему = убедился в ней. Какой мне толк с того что вы вытащите мой IP из бани? У других от этого не перестанет банить IP.
Пусть напрямую пишут нам с указанием IP, через который идет парсинг, на уровне конкретного IP мы почти всегда (в разумных пределах) сможем сделать исключение. Вот контакты:
https://www.bukvarix.com/contact.html
Снять защиту мы не можем, поскольку, повторимся, желающих воспользоваться бесплатным API больше, чем наши технические возможности. И со временем количество ботов только увеличивается.
Запросы в 6 утра были, какие нагрузки?
Сервис Букварикс парсят постоянно: и в 6 утра, и в 12 ночи. И именно боты создают большую часть нагрузки. Желающих воспользоваться бесплатным API больше, чем наши технические возможности.
Я еще раз вам пишу - делал по 10 минут задержку - все равно 429.
Или 10 минут это мало?
Если после паузы ошибка 429 осталась, то нужно увеличить время паузы. Если паузы не делать и постоянно "долбить" сервер - то IP попадет в долгосрочный бан.
... Напишите нам в личку IP, с которого идут запросы - если он в списке забаненых, то мы уберем IP из этого списка и вы сможете возобновить запросы.
Здравствуйте, Devvver, бесплатный API лимитирован - желающих им воспользоваться больше, чем наши технические возможности.
Лимит на запросы через бесплатный API плавающий - от пары запросов в минуту до пары десятков запросов в минуту, это зависит от многих факторов: текущей нагрузки на сервер, с какого IP идет запрос, насколько "чистый" IP (т.е. не прокси) и т.д. Поэтому при получении 429 ошибки нужно сделать паузу перед следующим запросом.
Если после паузы ошибка 429 осталась, то нужно увеличить время паузы. Если паузы не делать и постоянно "долбить" сервер - то IP попадет в долгосрочный бан (особенно это касается паблик-прокси).
Здравствуйте,
Сегодня мы обновили поисковую выдачу баз доменов Яндекс Москва и Яндекс Санкт-Петербург. Период обновления: ноябрь 2019.
Проверить ключевые слова домена: https://www.bukvarix.com/site/
Сравнить ключевые слова двух доменов: https://www.bukvarix.com/cmp/
Найти общие ключевые слова для нескольких доменов: https://www.bukvarix.com/mcmp/
Добрый день,
Сегодня обновлена поисковая выдача баз доменов Яндекс Россия и Яндекс Минск. Период обновления: конец октября - первая половина ноября 2019.
Проверить ключевые слова домена: https://www.bukvarix.com/site/
Сравнить ключевые слова двух доменов: https://www.bukvarix.com/cmp/
Найти общие ключевые слова для нескольких доменов: https://www.bukvarix.com/mcmp/