Xtezy: А я так чет заипался уже... делаю доры все время. но вот последние 2-3 недели доры во время апа влетают неплохо, дают трафф и под вечер яша их банит...
3 разных хостинга использую. шаблонов много. до этого нормально было все.
Если кто знает, в чем может быть косяк. пишите в пм. примеры доров кину и все что нужно...
Проблема одна - заюзанный по самое немогу редбаттон, джако и иже с ними.
bloxa: ТС, сделай чтобы можно было запросы и прокси из файла подгружать, а потом просто запускать скрипт с параметрами, аля ?proxy=proxy.txt&keys=keys.txt
Тогда можно легко по крону запускать.
В принципе идея. Сделаю. Всем купившим - бесплатные обновления.
.:nbd:.: Если парсить с паблик проксями, которые мрут каждую минуту, то уж проще парсить со слипом, все равно быстрее будет =) Но своего покупателя (серверный ответ десктопным Магадану и Анадыри) скрипт думаю найдет. Кстати он работает в фоне или только из окна?
Там POST-запросы отправляются, поэтому в фоне не работает - ему сначала данные нужно передать. Разве что как-то помучаться с wget'ом на cron'e, но это уже из разряда извращений :)
Удивительно добавил 06.08.2009 в 18:07
jonxxx: Если в IE выставить прокси, то магадан работает через него.
Ну я ж говорю - скрипт для тех, кто не любит что-то делать вручную )
bloxa: Если не ошибаюсь, в магадане есть такая функция - рекурсивная загрузка ключей, то есть он их сохраняет в файл и тут же подгружает оттуда для последующего парсинга.
Я магадан не юзаю, поэтому не могу сказать. Возможно и так. Но прокси там точно нет :)
spambot: пипец а в магадане вбить стартовую очередь, а потом загрузить в него то что было напасенно и снова пропарсить не судьба?
удивительное рядом.....
Есть люди, которые не любят ручную работу. Этот скрипт - для них.
Я заряжаю на ночь 20 запросов - утром уже всё готово, не надо ни зачем следить, ничего никуда вбивать.
Кроме того, Магадан не поддерживает прокси. При достаточном количестве прокси (штук 100-150) можно поставить задержку 0 секунд и пропарсить всё значительно быстрее.
А я так чет заипался уже... делаю доры все время. но вот последние 2-3 недели доры во время апа влетают неплохо, дают трафф и под вечер яша их банит...
3 разных хостинга использую. шаблонов много. до этого нормально было все.
Если кто знает, в чем может быть косяк. пишите в пм. примеры доров кину и все что нужно...
Проблема одна - заюзанный по самое немогу редбаттон, джако и иже с ними.
фрихи банят владельцы фрихов очень быстро, не успевают в индекс влезть
Мля, параноики...
У меня по 100 доров на одном аккаунте - и ничего, за одну подсеть никто не банит
Не напрягайтесь, у доров одна судьба - принести 100500 баксов и умереть
Как дополнение к парсеру могу предложить скрипт поиска открытых статистик LiveInternet. В комбинации - очень мощно получается.
KM.UA, респект за софтину :) Этих уродов-крякеров на кол без разговоров.
За отзыв дадите?:)
Стукни в асю - договоримся.
Удивительно добавил 06.08.2009 в 23:45
ТС, сделай чтобы можно было запросы и прокси из файла подгружать, а потом просто запускать скрипт с параметрами, аля ?proxy=proxy.txt&keys=keys.txt
Тогда можно легко по крону запускать.
В принципе идея. Сделаю. Всем купившим - бесплатные обновления.
Удивительно, кончай конючить, смотреть противно!
Не смотри :)
lord_alfred долго телится
уже его суперпаки переделывают :)
Если парсить с паблик проксями, которые мрут каждую минуту, то уж проще парсить со слипом, все равно быстрее будет =) Но своего покупателя (серверный ответ десктопным Магадану и Анадыри) скрипт думаю найдет. Кстати он работает в фоне или только из окна?
Там POST-запросы отправляются, поэтому в фоне не работает - ему сначала данные нужно передать. Разве что как-то помучаться с wget'ом на cron'e, но это уже из разряда извращений :)
Удивительно добавил 06.08.2009 в 18:07
Если в IE выставить прокси, то магадан работает через него.
Ну я ж говорю - скрипт для тех, кто не любит что-то делать вручную )
Если не ошибаюсь, в магадане есть такая функция - рекурсивная загрузка ключей, то есть он их сохраняет в файл и тут же подгружает оттуда для последующего парсинга.
Я магадан не юзаю, поэтому не могу сказать. Возможно и так. Но прокси там точно нет :)
пипец а в магадане вбить стартовую очередь, а потом загрузить в него то что было напасенно и снова пропарсить не судьба?
удивительное рядом.....
Есть люди, которые не любят ручную работу. Этот скрипт - для них.
Я заряжаю на ночь 20 запросов - утром уже всё готово, не надо ни зачем следить, ничего никуда вбивать.
Кроме того, Магадан не поддерживает прокси. При достаточном количестве прокси (штук 100-150) можно поставить задержку 0 секунд и пропарсить всё значительно быстрее.