А приятель не рассказывает чем хоть занимался?
Я понимаю, что рэндомная )
В общем, по парсингу решил попробовать сделать полноценные сессии на каждый поток (User-Agent + cookie + другие данные - типа уникальные профили), чтобы все это генерилось автоматически.
Вы лист из скольки User-Agent используете, есть ли готовые списки только с браузерами без роботов?
С куки просто у Яндекса меньше шансов словить вечно повторяющуюся капчу---------- Добавлено 19.04.2013 в 16:07 ----------
Сколько проксей то? В чем измеряется 1200 wmz? Или Вы мне парсинг предлагаете?---------- Добавлено 19.04.2013 в 16:09 ----------
можете посоветовать какие то прокси листы или /25-/26 колокейшен?
Если куки выключены, он может начать спамить капчу на каждый запрос, типа заносит в блек лист если сессии нет.
Мы используем задержку от 0-5 секунд сейчас.
User-Agent не меняем, а как вы поступаете с куками (генерится новая с каждым User-Agent)?
/28 - это 16 IP да
Прикручено ) 20к без проблем парсим, а вот как безопасно парсить большее количество запросов 200к? 1м?
Объем чего? Прокси?
Каждый день
Будут больше напрямую парсить, лишнюю нагрузку создавать
Carbrand.ru
Аукцион завершен
