Вордстат...

LL
На сайте с 27.09.2007
Offline
39
1135

Добро время. Вордстат может ip навсегда забанить ? Я вот с 3-х хостингов парсил, с локального серва парсил... простым скриптом: пока количество запросов > 6 - собираю по 1000 кеев и т. д. В скрипте никаких задержек, смен ip и прочих хитростей - кеев пока и так хватало. В процессе вордстат временно банил, но через некоторое время скрипты обратно начинали работать, но вот на одном из айпишников скрипт не пашет уже больше двух суток... Парсер на локальном серве обрубил, чтоб свой ip в бан не вогнать...

Может кто скажет, как правильней вордстат парсить (по поводу задержек, проксей...) ? Более продуктивно, чем я со своими убогими скриптами. Купить скрипт - тоже рассматривается.

ЗЫ: про замечательную базу Пастухова знаю

ЗЗЫ: про статсу мэйла тоже

gsk87
На сайте с 17.11.2005
Offline
76
#1

научите скрипт отдавать куки, т.е имитируйте живой просмотрет вордстата или ставьте задержку, но тогда крупные кейворды не сможете парсить, т.к скрипт будет стопиться после N сек/мин

SC
На сайте с 07.09.2007
Offline
7
#2
gsk87:
скрипт будет стопиться после N сек/мин

с чего вы это взяли? смотря ведь что за скрипт

gsk87
На сайте с 17.11.2005
Offline
76
#3

Ну ведь в конфиге php стоит время на выполнения скрипта, после истечения этого времени скрипт останавливается. Большие запросы врятли удасться отпарсить... (больше 10к кеев за раз). Поэтому парсить лучше не скриптами...

K
На сайте с 11.12.2006
Offline
103
kip
#4

Собираю до 15к.

По всем вопросам в ICQ

Надежные и недорогие VPS/VDS (http://goo.gl/iifGKa) Бананы за выкуп (http://goo.gl/ZpRgC1)
Y
На сайте с 09.06.2006
Offline
48
#5

gsk87, set_time_limit(0) не вариант?

ICQ: 4848444
LL
На сайте с 27.09.2007
Offline
39
#6
Yanis:
set_time_limit(0) не вариант?

у меня почему-то даже с этой фиговиной глохнет спустя некоторое время, хотя по идее не должен, но это ерунда, можно по крону запускать...

SC
На сайте с 07.09.2007
Offline
7
#7

решение есть! думайте! тему палить не буду :)

wmz
На сайте с 09.04.2007
Offline
119
wmz
#8

set_time_limit(0) не на всех хостингах работает

а так:

куки

таймаут

правильные урлы и реферер

20 к за раз можно содрать

[Удален]
#9
wmz:

а так:
куки
таймаут
правильные урлы и реферер
20 к за раз можно содрать

Прокси, а лучше соксы, и можно забить на куки, таймауты, и т.п....

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий