Бан IP при парсинге без капчи

12
chaser
На сайте с 03.08.2005
Offline
196
1882

Все привет!

Примерно уже с месяц как при достаточно частых обращениях к выдаче Google он стал банить сразу, через 5-6 опросов, даже не предлагая капчи.

Соотв. в гугле я не залогинен при этом.

Если у кого-то есть схожие проблемы?

Хотелось бы обсудить варианты выхода из ситуации.

SiteAnalyzer ( https://site-analyzer.ru/ ) - Бесплатный аналог Screaming Frog | Форум поддержки ( https://forum.site-analyzer.ru/ ) / Telegram ( https://t.me/siteanalyzer ) | Majento ( https://majento.ru/index.php?page=seo-analize ) - 70+ бесплатных сервисов SEO-аналитики
T
На сайте с 25.03.2015
Offline
7
#1

Реже обращения, больше задержки при загрузке результатов, более частая смена IP.

chaser
На сайте с 03.08.2005
Offline
196
#2
torrentlord:
Реже обращения, больше задержки при загрузке результатов, более частая смена IP.

Большее время задержки это не вариант к сожалению.

У нас через список прокси идут все обращения.

Просто интересует массово ли это или только у нас.

FireAiD
На сайте с 15.06.2008
Offline
247
#3

Подобное у меня наблюдается исключительно у Yota, думаю и другие мобильные операторы этим грешат. Скорее всего определенные IP уже фильтруются google, поэтому бан, так как по "проводу" - никогда подобное не вылазило.

S
На сайте с 05.01.2013
Offline
40
#4
chaser:
Все привет!

Примерно уже с месяц как при достаточно частых обращениях к выдаче Google он стал банить сразу, через 5-6 опросов, даже не предлагая капчи.

Я вот из за таких умельцев с телефона и планшета гуглить не могу, приходится на яндекс прыгать. :) Но банит не надолго, не больше дня, хотя не уверен, может за это время оператор мой ip меняет.

chaser
На сайте с 03.08.2005
Offline
196
#5
seogearbox:
Я вот из за таких умельцев с телефона и планшета гуглить не могу, приходится на яндекс прыгать. :) Но банит не надолго, не больше дня, хотя не уверен, может за это время оператор мой ip меняет.

Дык, это ж через прокси )

Так то банит на день, да

S
На сайте с 05.01.2013
Offline
40
#6
chaser:
Дык, это ж через прокси )

Ну так те прокси откуда берутся? Накупят свистков и продают доступ, с хостинга кто будет проксю покупать с хостерскими ипами, их банят на раз два на пожизненно. А потом порядочные сеошники в гугль ходить не могут :)

chaser
На сайте с 03.08.2005
Offline
196
#7
seogearbox:
Ну так те прокси откуда берутся? Накупят свистков и продают доступ, с хостинга кто будет проксю покупать с хостерскими ипами, их банят на раз два на пожизненно. А потом порядочные сеошники в гугль ходить не могут :)

Да, взяли другие, понадежнее, и с ними уже проблем нет! )

ПС. Тему можно закрывать.

chaser
На сайте с 03.08.2005
Offline
196
#8
chaser:
Да, взяли другие, понадежнее, и с ними уже проблем нет! )

ПС. Тему можно закрывать.

к сожалению тему закрывать рано

Думали из-за некачественных прокси такое, но список новых прокси не изменил ситуацию

Я так понимаю что теперь блокирует по айпи минимум на 3 часа а иногда и до суток

Как теперь быть не понятно

S
На сайте с 05.01.2013
Offline
40
#9
chaser:
к сожалению тему закрывать рано
Думали из-за некачественных прокси такое, но список новых прокси не изменил ситуацию

прокси индивидуальные или расшаренные? тайм аут какой между запросами? Запросы пустые или имитируете сессию? Юзер агент какой? Все время один или меняете? регионы как отбиваете?

В общем суть одна - надо притвориться пользователем. На каком этапе гугль понимает, что вы не пользователь.

chaser
На сайте с 03.08.2005
Offline
196
#10
seogearbox:
прокси индивидуальные или расшаренные? тайм аут какой между запросами? Запросы пустые или имитируете сессию? Юзер агент какой? Все время один или меняете? регионы как отбиваете?

В общем суть одна - надо притвориться пользователем. На каком этапе гугль понимает, что вы не пользователь.

Расшаренные, и при этом совсем недавно все сканировалось без поблем

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий