- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
делайте задержку, хотя бы. от 1 секунды. я при парсинге гугла делаю 3-5 секунд. в вашем случае это должно окупиться стабильностью шестнадцати потоков.
куки я каждый раз обнуляю, типа, куки не сохраняются у клиентов и, возможно, я не прав, но чтобы сохранять еще и куки, мне бы пришлось из каждого потока бадяжить полноценную сессию. на самом деле, мне влом было выдумывать под это ТЗ и я забил, ибо знал, что и без кук будет отлично парситься.
юзерагент важней кук.
Если куки выключены, он может начать спамить капчу на каждый запрос, типа заносит в блек лист если сессии нет.
у мну такого не происходит, при минимальной задержке больше 2х секунд. кстати, когда я пишу 3-5, это рендомная задержка от 3 до 5.
у мну такого не происходит, при минимальной задержке больше 2х секунд. кстати, когда я пишу 3-5, это рендомная задержка от 3 до 5.
Я понимаю, что рэндомная )
В общем, по парсингу решил попробовать сделать полноценные сессии на каждый поток (User-Agent + cookie + другие данные - типа уникальные профили), чтобы все это генерилось автоматически.
Вы лист из скольки User-Agent используете, есть ли готовые списки только с браузерами без роботов?
С куки просто у Яндекса меньше шансов словить вечно повторяющуюся капчу
---------- Добавлено 19.04.2013 в 16:07 ----------
Запросов, суточная нагрузка.
1200 wmz ориентировочно.
Сколько проксей то? В чем измеряется 1200 wmz? Или Вы мне парсинг предлагаете?
---------- Добавлено 19.04.2013 в 16:09 ----------
какие задержки между запросами в одном потоке?
мы для парсинга яндекса тысячами прокси юзаем. преимущественно, свои. некоторые исп (в основном, в россии и америке) предлагают /25-/26 вместе с колоколом.
можете посоветовать какие то прокси листы или /25-/26 колокейшен?
В чем измеряется 1200 wmz?
Один миллион запросов в сутки стоит 1200 wmz в месяц.
Сколько проксей то?
Много. В пиках суммарная нагрузка может достигать двадцати и более миллионов запросов в сутки. Справляемся.
по парсингу решил попробовать сделать полноценные сессии
На промышленных объёмах это - первое дело. Более того, нужно исполнять скрипты, флеш-куки, качать картинки и т.п. Парсинг текстовой части без минимального соответствия человеческому (браузерному) характеру трафика закончился несколько лет назад.
инфобокс столько дает за денежку, с разных сеточек. на самом деле, если обьемы те, что описал юни, то реально уместным становится самому заиметь диапазоны в разных сетях, получив необходимые сертификаты. и скупить пару стоечек в ДЦ каком-то.
да, да, да, тоже обо всем этом думал. но, пока, не нужно :) чтобы дергать за флешки и js-ки - надо сразу на порядок увеличивать производительность железа для внедрения гуи-ядра, либо извращаться консольными дергалками, что редко заканчивается хорошо.
Парсинг текстовой части без минимального соответствия человеческому (браузерному) характеру трафика закончился несколько лет назад.
Согласен, это все у робота предусмотрено, пока без js правда
Если цена устраивает - обращайтесь.
Ditmar, http://awmproxy.com пробовали?
Если цена устраивает - обращайтесь.
Выходит дороже, чем арендовать сервак с 250+ ip на борту, а вы так и не озвучили, что конкретно вы предлагаете.
Прокси-сервис для промышленного парсинга. IP там будет значительно больше одной подсети /24.
К тому же, 200к в сутки, это 2,3 запроса в секунду - одна подсеть долго не протянет при таких регулярных нагрузках. Не говоря об 1 млн. запросов в сутки.