Вот этот:
Да ему просто по кайфу топики на серче создавать. Недостает, может, общения с людьми, хз 😂
Обиделся что ли? Ну не расстраивайся, в следующий раз про тебя обязательно не забудут.
Хочу также обратить внимание на интересную деталь:
Как google банит подсетки, видно на скрине. Это запущенный процесс с 200 живыми_проверенными проксями и 5 потоков.
Может ротацию сделать похитрее, не подряд из одной подсети подсовывая ему прокси?
За тикеты спасибо, у вас отличная поддержка, но я бы хотел именно на форуме найти решение. Может кто-то еще подтянется (кроме советов о покупных проксях - они все равно уйдут скоро в бан)
Не-не, там же капча валит. Есть реакция гугла - когда капча, это он еще сомневается, а есть реакция - когда вообще не отвечает.
куплю счас 200 платных проксей - они уйдут в бан через несколько часов. Тем более, все их итак для парсинга используют. И смысл?..
Попробую еще потыкать галочки в программе. Вообще, здравая идея парсить не google, а search.aol - американскую выдачу (у меня сайты на английском). Там меньше банов.
Все грустно конечно
Еще и капча валит каждые 10 кеев. Всё это неправильно как-то. Можно парсить google на 150 живых проксях аккуратно. У меня же есть другие парсеры ПС и ничего. И это, притом, что мы парсим без операторов. Может быть, в keycollector алгоритм не очень касательно ПС, ротация проксей медленная, я не знаю как там реализовано у вас в коде.
Ясно, спасибо. Думал об этом, но не через 10-20 же запросов-то... 😒
Вчера понадобилось мне чекнуть KEI в Google у 10к слов. Я загрузил прокси побольше - вышло порядка 90 живых, незабаненных, попроставлял галочки в настройках:
- отключил использование своего IP, конечно
- 20 потоков, думаю нормально
- отключил cookies
Key Collector запускается, чекает выдачу по 10 словам и все. Закончил вроде как, мигает иконка. Где косяк?
Подпишусь на топик и понаблюдаю, как продавцы лопат будут перекидываться какашками друг в друга.
sealo, ты выбрал неверную тактику: у свежерегов ничего не покупают. Вон foxi обивал пороги Ботмастер-форума с 2006, если я не ошибаюсь года, прежде чем прийти к написанию своей поделки. 9 лет, Карл!
Просто лох - он такой: ему нечем оперировать, он же лох, и ничего не шарит в этих дорах (да и в интернетах в целом, иначе давно бы уже нагуглил, что к чему), поэтому покупает лопату, думая, что озолотится. Единственное, за что он может зацепиться - это дата реги и репа на серче.
Условный crawl-delay можно и у nginx поставить, если статика. Хотя я не сталкивался, чтобы где-то падал от ботов nginx вообще.
