Съем 50 000 позиций в сутки. Как и чем?

12
CE
На сайте с 05.07.2009
Offline
80
1810

Доброго времени суток!

Обращаюсь к участникам форума за помощью в решении проблемы.

Есть необходимость съема 50-100к запросов в сутки.

Проблема: как это сделать?

Предположительно есть несколько способов:

  • SAAS сервисы для съема позиций. Минусы: Рост оплаты в зависимости от объема, да и при 50к запросов ежемесячный ценник неподъемный. Ограниченная функциональность.
  • Скрипт съема позиций на своем сервере. Минусы: Поддержка сервера. Прокси + IP. Ограниченная функциональность.
  • Разработка своего скрипта съема позиций. Минусы: Поддержка сервера. Прокси + IP. Срок разработки продукта. Поддержка продукта в актуальном состоянии.

Возможно уже кто-то сталкивался с аналогичной ситуацией.

Сейчас работаем в inserp, но очень не удобно. Много лишних запросов для наших нужд.

По хорошему, нужно все разрабатывать под свои требования, но тут вопрос компетентности исполнителя. Возможно вы знаете программистов, которые в этой сфере достаточно подкованы, тогда посоветуйте заглянуть сюда для связи со мной.

По теме хотелось бы услышать, как сами решали аналогичную проблему, либо как бы поступили на моем месте.

Спасибо!

Kory
На сайте с 27.11.2006
Offline
297
#1

Юзаю серппарсер. 50к, в день конечно вряд ли он снимает, но 20к вполне, больше имхо пропускной способности не хватит.

Вот вам немного статистики, прокси не юзаю.

Собираю статистику по НЧ.
CE
На сайте с 05.07.2009
Offline
80
#2

Kory, спасибо! Просто не хотелось бы запускать каждый день съем позиций. Да и доступ к позициям желателен мультиюзерный и через веб.

emariaru
На сайте с 26.10.2010
Offline
73
#3

Какую сумму в месяц Вы готовы платить за данные виды работ ежемесячно?

[Удален]
#4
C4ACTbE:
Kory, спасибо! Просто не хотелось бы запускать каждый день съем позиций. Да и доступ к позициям желателен мультиюзерный и через веб.

Ну тогда только скрипт на своем сервере

El_grapaduro
На сайте с 01.09.2008
Offline
315
#5

В данный момент заканчиваю снимать позиции 48к. Снимаю олпазишином. Но не каждый день, даже не каждый ап иначе разоришься.

CE
На сайте с 05.07.2009
Offline
80
#6
Какую сумму в месяц Вы готовы платить за данные виды работ ежемесячно?

Конечно же все зависит от предлагаемых условий.

Если вы готовы предложить какое-то решение, то я готов выслушать.

Представьте вы пришли в магазин купить яблок. А вам продавец говорит, сколько вы готовы отдать денег за это яблоко?

У каждого продукта есть его цена, вот готов ли покупатель платить эту цену - зависит от покупателя.

юни
На сайте с 01.11.2005
Offline
924
#7

C4ACTbE, позиции нужны только из Яндекса? Не пробовали адаптировать софт под seo-proxy.ru?

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
CE
На сайте с 05.07.2009
Offline
80
#8

юни, спасибо! Буду иметь ввиду.

На сколько стабильно сервис работает? Есть опыт использования?

Примерно посчитал 50 000 запросов * 2 Поисковые системы * 30 дней = 3 млн запросов в месяц.

При цене 0,000179 USD за запрос получаем: 537$ в месяц.

Дороговато все таки. Плюс нужно будет софт писать, а значит можно сразу писать под Я.хмл с верифицированными аккаунтами и списком IP. В таком случае с сервером будет выходить порядка 100$ в месяц. Правда с гугл нужно будет еще повозиться. Ну и добавить стоимость разработки растянутой на пару месяцев сроком.

юни
На сайте с 01.11.2005
Offline
924
#9

C4ACTbE, а зачем Вам ежедневно проверять столько позиций? Здесь уже писали правильные вещи про апдейты.

C4ACTbE:
можно сразу писать под Я.хмл

Этот сервис достаточно часто ошибается на больших объёмах.

CE
На сайте с 05.07.2009
Offline
80
#10
C4ACTbE, а зачем Вам ежедневно проверять столько позиций? Здесь уже писали правильные вещи про апдейты.

Конечно стоит подумать над съемом поапдейтово основной массы ключей и ежедневно приоритетных ключей. Но без ежедневного снятия не обойтись.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий