- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Что такое самовыкупы на маркетплейсах и стоит ли их использовать: за и против
Использовать можно, но очень осторожно
Сервис Кактус
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет.
Хочется парсить очень много выдачи гугла (топ 100, разные локации) достаточно длительный период на linux-сервере.
Какие сейчас наиболее эффективные способы по затратам? Вот такие вопросы появились:
по затратам эффективно ип6, по жизнеспособности ип4.
если говорить об ип4 то желательно большое количество различных сеток, длительные таймауты и ротация запросов таким образом, чтобы с одной сетки не шли одновременно или друг за другом. рекапчу все равно придется разгадывать, но сильно меньше.
мобильные тоже пойдут, другое дело что в связи с таймаутами перезагрузки модема, на капчу будет сливаться сильно больше
ipv6 банится все так же подсеткой /64 вроде?
чем эффективно разгадывать рекапчу сейчас? если не разгадывать рекапчу - айпишник сколько должен отлеживаться? эмулировать браузер нужно (куки, джаваскрипт?, паузы)
чем эффективно разгадывать рекапчу сейчас?
в промышленных масштабах ксевил, капмонстр
ipv6 банится все так же подсеткой /64 вроде?
не следил, если честно. 48 сетки для парса хватало
айпишник сколько должен отлеживаться? эмулировать браузер нужно (куки, джаваскрипт?, паузы)
отлеживаться желательно от 60-90 сек, но чем дольше, тем меньше шансов отхватить капчу. в идеале несколько сотен запросов через 1 прокси, размытые по суткам, но тут все надо считать эмпирически, что дешевле - взять лишнюю сотню прокси или потратиться на капчу
эмулировать человеческие запросы желательно