- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вопрос: как вы решили проблему парсинга Яши без установки таймаутов и смены ip?
Нашел хостинг, где на одном айпи море сайтов. Поставил парсер и радуюсь. Капчи не встречал ни разу.
отличается на мейле выдача =( увы...
А можно пример запроса?
Курлами через GET
Там есть функция.
if($info['http_code']==200){} - успешное соединение
если статус равен 0 то IP не работает. Ипшники вводятся в массив, в итоге в скрипте они используются случайным образом. При успешном выполнении желательно использовать задержку sleep();
Так сейчас и сделано, только ещё юзер-агенты меняются.
При таком использовании попадаю на капчу.
В десятке добавил 25.11.2008 в 16:58
А можно пример запроса?
В день апа Яши выдача отличается.
Нашел хостинг, где на одном айпи море сайтов. Поставил парсер и радуюсь. Капчи не встречал ни разу.
А какой таймаут стоит ? какое количество запросов в сутки парсите?
А какой таймаут стоит ?
На ответ Яши? Прогер вроде 30 сек ставил.
какое количество запросов в сутки парсите?
Около 30 сайтов, в среднем по 20 ключей, позиции (на каком этапе работа) от ТОП10 до 200, дальше вроде не лазит парсилка. Считайте приблизительно. Я не в курсе (((. Просто работает ежедневно. К стати и по гуглу ру тоже.
Так сейчас и сделано, только ещё юзер-агенты меняются.
При таком использовании попадаю на капчу.
А кука у вас хранится ? С ней проблем нет?
crosone добавил 25.11.2008 в 23:03
или кинь в пм код