- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Времена тяжелые, парсер от l00t.ru пал смертью храбрых, гугл делится только мертвыми ссылками, а парсить прямой эфир надо. Посему был найден парсер прямого эфира от yousoft.ru и чуть-чуть дописан для сохранения в файл.
Собственно, всё предельно просто:
1) запускаете скрипт
2) ждете
3) получаете кеи :)
Может пригодится:
$filename = "base2.txt"; - имя файла, в который пишем
sleep(12); - пауза между запусками. Чем выше значение - там ниже шанс схватить бан.
При паузе в 5 секунд парсер стащил 1100 кеев и только потом, при заходе на сам прямой эфир, Яша попросил ввести капчу, после которой нормально продолжил работу. Но на всякий пауза установлена в 12 секунд. Если кеев надо побольше и есть время - лучше увеличить еще немного.
Как запускать:
Можете поставить на сервер, можете запустить локальный сервер и через него. Я же сделал предельно просто - в папку с установленным php закинул скрипт, создал пустой файлик под базу base2.txt
Затем в командной строке набираем cd <путь до папки php>, жмем ентер.
И, наконец, набираем php.exe parser.php
Уходим варить кофе и по приходу имеем немного кев :)
Небольшое обновление - добавил поиск капчи. И, если она найдена, выводим сообщение и засыпаем на 30 секунд. Стянуть можно в аттаче.
p.s. Похоже, всё-таки придется прикручивать прокси, даже с большой паузой много не парсит :)
Еще немного попилил. В результате:
1) кой-какие мелочи поправлены
2) настройки для удобства вынесены в отдельный файл settings.ini (с описанием что и зачем)
3) работает через прокси (за проксями - к гуглу)
4) в выводе сообщает о количестве кеев.
Прикрутите сервис antigate , pls
Прикрутите сервис antigate , pls
К сожалению, разработка закрыта.
Из процесс создания парсера несколько увлек. В результате получился комбайн с забором прокси из внешнего файла, проверкой, парсингом до капчи и последующей сменой прокси. Пара дней на разбор подводных камней - и удалось достичь полного автоматизма. То есть, успевай подгружай прокси, остальное всё делается само собой. Правда, хостерам не нравится - сменил уже двоих, но все равно банят. Посему пришлось взять маленький двухбаксовый виртуальный сервер.
Производительность, конечно, не громадная - вчера за пол дня наловил всего 46020 ключей. То есть, если прокси более-менее живые и достаточно быстрые, то тысяч сто ключей в сутки можно будет делать.
Подумывал о многопоточности, но если потоки будут накладываться - ключи будут дублироваться, а хлам не нужен. Посему пока поживем на однопоточном.
От выкладывания этой поделки откажусь. Во-первых, это никому не интересно - за полсотни скачиваний всего один отзыв/комментарий. Во-вторых, если она разойдется по рукам и каждый желающий будет парсить - это вскоре доведет Яндекс до изменения защиты и придется изобретать новый велосипед. Ну и в-третьих, программист из меня никакой, так что даже за образец парсер не сойдет. Кому это будет нужно - смогут сделать быстрее-выше-сильнее :)
Может быть, после набора милиона-двух соберусь поделится ими с общественностью:) А пока приаттачу парочку небольших, вдруг кому..
Из-за ограничений на аттачи залил на обменник. Берем тут(zip, 1.65mb)
И прошу модераторов закрыть тему.