Злобный Гыук

Злобный Гыук
Рейтинг
83
Регистрация
30.08.2007

В наличии 40к рублевого ПП! Обмен на Я.деньги, киви 1 к 1. На вмз - по курсу ЦБ + 5% с меня!

Скайп: muxoarz

А если капчу попробовать разбить на несколько картинок? По-идее, должно помочь против хрумера...

Zverushko:
Да этого код был на питоне, собирался в 50 потоков. Работало быстрее конечно, но требовало больше памяти. Примерно 100 запросов собиралось за 8-10 секунд.

Данная реализация чуть медленнее, но и почти не жрет ресурсов.

Капча сейчас не нужна, так как в обычный день в среднем потребляют 500 лимитов/день, в день апдейта - 1500.
Предел сейчас - 23100. Как увижу сливы, сделаю капчу=)

Могу сказать, что это 100% будет! :)

Баги, кстати, нашел... Искал запрос "php программирование", ввел домен "php.ru", так скрипт выдал: php программирование 97 http://js-php.ru/

Т.е. ищется не полное вхождение строки, а нужно регуляркой, с учетом www.

И класика парсинга :) - ищем запрос "одноклассники рф" и сайт "мои-одноклассники.рф", выдает, что ничего не найдено, хотя сайт на 2 месте... Т.е. присутствует проблема с русскими доменами.

Обменяю еще 50к пейпела! Условия те же. Хотя, только сегодня обмен на WMZ +5% с меня!

Zverushko:
переписал сервис на javascript + node js
увеличил лимит до 200 запросов за раз
теперь 200 запросов собирается где то за 40 секунд

Можно сделать многопоточный слив, тогда качать будет секунд за 5-10.

И капчу хоть сделайте, сейчас халявщики наваяют скриптов и будут сливать ваши лимиты в ноль.

И снова есть 31к рублевого ПП! Условия те же: обмен на вмр, Я.деньги, киви 1 к 1. На вмз - по курсу ЦБ + 4% с меня! Скайп: muxoarz

GtSwan:
Кстати, 650W достаточно будет?

С избытком!

Печка, конечно, еще та будет.. :)

В наличии 60 тысяч ПП рублей, меняю на вмр, Я.деньги, киви 1 к 1. На вмз - по курсу ЦБ + 4% с меня

Гражданин, у Вас какбэ личка не работает...

postavkin:
Я правильно понимаю, теперь независимо от своего IP можно парсить результаты выдачи?

Нет. В настройках яндекса http://xml.yandex.ru/settings.xml нужно выставлять IP с которого приходят запросы.

Всего: 269