- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Надо парсить 200к+ и более запросов в выдаче Google, какие списки прокси (платные или бесплатные) или другие приемчики посоветуете?
Сейчас есть своя подсетка /28 но при парсинге в 5-10 потоков с IP часто стал ловить BAN по большинству IPшников.
Заранее спасибо за ответы и предложения.
P.S. Не надо тупо спамить рефками, пожалуйста. Я не против рефок, но обоснуйте нормально почему именно этот сервис и Ваш опыт работы с ним.
P.S.S. Услуги по стороннему парсингу не интересуют.
Надо парсить 200к+ и более запросов в выдаче Google
Насколько регулярно?
Насколько регулярно?
Каждый день
250-300 wmz в месяц стоит такой объём, в зависимости от подхода к парсингу.
250-300 wmz в месяц стоит такой объём, в зависимости от подхода к парсингу.
Объем чего? Прокси?
Распознавание каптч не прикручивали?
Распознавание каптч не прикручивали?
Прикручено ) 20к без проблем парсим, а вот как безопасно парсить большее количество запросов 200к? 1м?
какие задержки между запросами в одном потоке?
короче, у вас парсер должен делить по потоку на проксю и выжимать их до конца, при этом, выдавать рендомные юзерагенты. задержки лично я выставляю 3-5 секунд и даже каптчи не ловлю. иногда, когда делаю 1-3 секунды - получаю бан. в таком случае, я делаю сеспенд проксе на три часа, потом опять продолжаю парсинг с нее.
/28 - это что, 16 ойпе? маловато для таких работ. мы для парсинга яндекса тысячами прокси юзаем. преимущественно, свои. некоторые исп (в основном, в россии и америке) предлагают /25-/26 вместе с колоколом.
какие задержки между запросами в одном потоке?
короче, у вас парсер должен делить по потоку на проксю и выжимать их до конца, при этом, выдавать рендомные юзерагенты. задержки лично я выставляю 3-5 секунд и даже каптчи не ловлю. иногда, когда делаю 1-3 секунды - получаю бан. в таком случае, я делаю сеспенд проксе на три часа, потом опять продолжаю парсинг с нее.
/28 - это что, 16 ойпе? маловато для таких работ. мы для парсинга яндекса тысячами прокси юзаем. преимущественно, свои. некоторые исп (в основном, в россии и америке) предлагают /25-/26 вместе с колоколом.
Мы используем задержку от 0-5 секунд сейчас.
User-Agent не меняем, а как вы поступаете с куками (генерится новая с каждым User-Agent)?
/28 - это 16 IP да
делайте задержку, хотя бы. от 1 секунды. я при парсинге гугла делаю 3-5 секунд. в вашем случае это должно окупиться стабильностью шестнадцати потоков.
куки я каждый раз обнуляю, типа, куки не сохраняются у клиентов и, возможно, я не прав, но чтобы сохранять еще и куки, мне бы пришлось из каждого потока бадяжить полноценную сессию. на самом деле, мне влом было выдумывать под это ТЗ и я забил, ибо знал, что и без кук будет отлично парситься.
юзерагент важней кук.
Объем чего?
Запросов, суточная нагрузка.
1м?
1200 wmz ориентировочно.