Злобный Гыук: Могу сказать, что это 100% будет! :)
Баги, кстати, нашел... Искал запрос "php программирование", ввел домен "php.ru", так скрипт выдал: php программирование 97 http://js-php.ru/ Т.е. ищется не полное вхождение строки, а нужно регуляркой, с учетом www.
И класика парсинга :) - ищем запрос "одноклассники рф" и сайт "мои-одноклассники.рф", выдает, что ничего не найдено, хотя сайт на 2 месте... Т.е. присутствует проблема с русскими доменами.
поправил, тестим дальше=)
---------- Добавлено 14.03.2014 в 18:48 ----------
promo-p: Zverushko, а в разделе "регион" для Москвы указывать 77?
Москва - 213
Питер - 2
---------- Добавлено 14.03.2014 в 18:52 ----------
Да этого код был на питоне, собирался в 50 потоков. Работало быстрее конечно, но требовало больше памяти. Примерно 100 запросов собиралось за 8-10 секунд.
Данная реализация чуть медленнее, но и почти не жрет ресурсов.
Капча сейчас не нужна, так как в обычный день в среднем потребляют 500 лимитов/день, в день апдейта - 1500.
Предел сейчас - 23100. Как увижу сливы, сделаю капчу=)
кстати, хотелось бы добавить в сервис сбор гугла, но видится только 1 способ - большое количество ip адресов + антигейт.
Кто нибудь знает способ лучше?
какими сервисами пользуетесь для сбора позиций? в какую сторону дальше развивать?
Если есть лишние XML лимиты, приму в дар=)
дык мой говнокод там и лежит=)
https://github.com/Zverushko/seotools/blob/master/routes/yandex.js - javascript
https://github.com/Zverushko/kashkovskiy/blob/master/seotools/yasearch.py - python
отдельного скрипта нет, я думал сделать модуля для node js, но пока руки не дошли.
думаю разобраться будет не сложно
Могу сказать, что это 100% будет! :)
Баги, кстати, нашел... Искал запрос "php программирование", ввел домен "php.ru", так скрипт выдал: php программирование 97 http://js-php.ru/
Т.е. ищется не полное вхождение строки, а нужно регуляркой, с учетом www.
И класика парсинга :) - ищем запрос "одноклассники рф" и сайт "мои-одноклассники.рф", выдает, что ничего не найдено, хотя сайт на 2 месте... Т.е. присутствует проблема с русскими доменами.
поправил, тестим дальше=)
---------- Добавлено 14.03.2014 в 18:48 ----------
Zverushko, а в разделе "регион" для Москвы указывать 77?
Москва - 213
Питер - 2
---------- Добавлено 14.03.2014 в 18:52 ----------
теперь, кстати, ищется раза в 1,5 дольше
на днях попробую оптимизировать
Да этого код был на питоне, собирался в 50 потоков. Работало быстрее конечно, но требовало больше памяти. Примерно 100 запросов собиралось за 8-10 секунд.
Данная реализация чуть медленнее, но и почти не жрет ресурсов.
Капча сейчас не нужна, так как в обычный день в среднем потребляют 500 лимитов/день, в день апдейта - 1500.
Предел сейчас - 23100. Как увижу сливы, сделаю капчу=)
переписал сервис на javascript + node js
увеличил лимит до 200 запросов за раз
теперь 200 запросов собирается где то за 40 секунд
изменил ограничение по количеству проверяемых запросов до 100 штук за раз.