Парсинг прокси

C
На сайте с 17.03.2008
Offline
56
32529

Добрый день, подскажите оптимальные решения по вопросам парсинга с поисковиков через прокси для больших объемов. Как искать прокси, как проверять работоспособность, чтобы все польностью автоматически (интересуют скрипты). Очень хотется исключить всякие каптчи и прочее. Насколько так скорость скачивания страниц меньше?

LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#1

Купить прокси и не париться. Которые в паблике, они мрут как мухи, да и куча не рабочих.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
S
На сайте с 28.10.2005
Offline
312
#2

Купить/создать ботнет 🤪

Garin33
На сайте с 31.08.2009
Offline
169
#3

Я думаю что оптимальный вариант - не использовать поисковики, т.к. это не новостники, в поиск такая инфа мгновенно не попадает. Будете только на форумы натыкаться N-ной давности.

Проще сделать так - скриптом качаем (грабим) страницы с заранее указанных сайтов, чистим от мусора, чтобы на выходе были только прокси. Следующий шаг - чекер всего этого. Тут нужно просто ТЗ программеру - написать чекер прокси всех мастей (http, socks4/5, анонимные, не анонимные).

Несколько сайтов с публичными прокси -

http://www.socks24.org/

http://www.proxyfire.net/forum/ (после реги больше проксей видно)

http://elite-proxies.blogspot.com/

http://www.samair.ru/proxy/proxy-01.htm

http://spys.ru/proxies/

http://cool-proxy.ru/.

Потому что Drupal - это круто.
SBot
На сайте с 29.07.2008
Offline
150
#4

В олсабе, в демке вроде как доступна парсилка проксиков и чекает их сразу на 200 ok. Далее уже разгребайте их по странам, скоростям, приватности...спец софтом.

Mik Foxi
На сайте с 02.03.2011
Offline
1177
#5
Garin33:
Я думаю что оптимальный вариант - не использовать поисковики, т.к. это не новостники, в поиск такая инфа мгновенно не попадает.

🍿 это если не уметь пользоваться поисковиками.

Идем в гугл и ищем по запросам:

"proxy list for April 14"

"proxy list 2011 04 14"

ну и как-то так, вбивая свежие даты + поиск в настройках гугла выбрать по англоязычным сайтам и размещенным гденибудь в европе/штатах. Свежачта немало будет...

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
seoBB
На сайте с 18.01.2009
Offline
96
#6

Продам лист более 200 источников прокси, парсится около 100 000, из них 10 000 живых, посоветую софт для разделения на http/socks4/socks5 и прочее.

Выгрузки из Ahrefs, Majestic, SpyWords, Serpstat, SemRush (/ru/forum/comment/14267658) VDS хостинг: СКИДКИ + фантастическая тех.поддержка! (https://my.friendhosting.net/pl.php?6652)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий