кстати, хотелось бы добавить в сервис сбор гугла, но видится только 1 способ - большое количество ip адресов + антигейт.
Кто нибудь знает способ лучше?
какими сервисами пользуетесь для сбора позиций? в какую сторону дальше развивать?
Если есть лишние XML лимиты, приму в дар=)
дык мой говнокод там и лежит=)
https://github.com/Zverushko/seotools/blob/master/routes/yandex.js - javascript
https://github.com/Zverushko/kashkovskiy/blob/master/seotools/yasearch.py - python
отдельного скрипта нет, я думал сделать модуля для node js, но пока руки не дошли.
думаю разобраться будет не сложно
поправил, тестим дальше=)---------- Добавлено 14.03.2014 в 18:48 ----------
Москва - 213
Питер - 2---------- Добавлено 14.03.2014 в 18:52 ----------теперь, кстати, ищется раза в 1,5 дольше
на днях попробую оптимизировать
Да этого код был на питоне, собирался в 50 потоков. Работало быстрее конечно, но требовало больше памяти. Примерно 100 запросов собиралось за 8-10 секунд.
Данная реализация чуть медленнее, но и почти не жрет ресурсов.
Капча сейчас не нужна, так как в обычный день в среднем потребляют 500 лимитов/день, в день апдейта - 1500.
Предел сейчас - 23100. Как увижу сливы, сделаю капчу=)
переписал сервис на javascript + node js
увеличил лимит до 200 запросов за раз
теперь 200 запросов собирается где то за 40 секунд
изменил ограничение по количеству проверяемых запросов до 100 штук за раз.
