Пара вопросов по поводу автомат. парсера

VZ
На сайте с 15.04.2009
Offline
56
1125

Нужно написать парсер, хочу сделать заказ на фрилансе. Но прежде надо выяснить пару моментов

В общей картине, парсер будет тянуть тематические объявления с "из рук в руки" на наш сайт (не просто копировать все, а заполнять наши определенные поля ихними данными)

Нужно, чтобы это происходило автоматически, примерно каждые 4 минуты. Сервер у нас есть.

Собственно, на чем и в каком виде лучше писать парсер программисту, и почему? Сколько это будет стоить?

И не спалят ли нас "ирр"? нужны ли прокси или что-то еще?

Спасибо.

[Удален]
#1

пхп язык под парсеры само то, ну вообще язык роли не играет, пюзон, перл или граббер на си, какая разница главное чтоб работало

обойдётся от 1000 рублей смотря как договоритесь, могу даже специалиста посоветовать, на си пишет грабберы, при небольшом условии(в личку)

MD
На сайте с 11.04.2010
Offline
22
#2
VladZ:
Нужно написать парсер, хочу сделать заказ на фрилансе. Но прежде надо выяснить пару моментов

В общей картине, парсер будет тянуть тематические объявления с "из рук в руки" на наш сайт (не просто копировать все, а заполнять наши определенные поля ихними данными)
Нужно, чтобы это происходило автоматически, примерно каждые 4 минуты. Сервер у нас есть.

Собственно, на чем и в каком виде лучше писать парсер программисту, и почему? Сколько это будет стоить?
И не спалят ли нас "ирр"? нужны ли прокси или что-то еще?

Спасибо.

не спалят. Тот же CURL (библиотека) позволяет отправлять сайту все заголовки реального пользователя, авторизироваться на сайте, принимать кукисы и т.д. и т.п.

Очень сложно при таких условиях что-то противопоставить. Тем более сайту, который на этом не загоняется.

автоматическая работа создаётся с помощью планировщика Cron... вообщем по сути, для опытного человека, ничего сложного нет.

n0name
На сайте с 22.12.2006
Offline
54
#3
mago de sombra:
не спалят. Тот же CURL (библиотека) позволяет отправлять сайту все заголовки реального пользователя, авторизироваться на сайте, принимать кукисы и т.д. и т.п.
Очень сложно при таких условиях что-то противопоставить.

Если возникнут какие-то подозрения, то спалят на раз-два по куче запросов без остановки с одного айпи.

Писать лучше на PHP, тк в случае чего будет легко найти программиста, который что-то подправит или переделает. Да, и дешевле это выйдет. В качестве минимальной маскировки можно сделать, чтобы скрипт при запросе страницы посылал какой-нибудь юзер-агент.

Если забанят ваш айпи на сайте, то тогда можно уже прокси прикручивать.

Сервис сравнения цена на VPS (http://vpska.com/)
MD
На сайте с 11.04.2010
Offline
22
#4
чтобы скрипт при запросе страницы посылал какой-нибудь юзер-агент.

курл отлично отсылает и заголовки юзер агентов.

Впишите туда гугл и вопросов не возникнет. Врядли товарищи админы будут так дотошно следить за логами веб-сервера.

VZ
На сайте с 15.04.2009
Offline
56
#5

Спасибо всем за полезные советы!

Все уяснил.

jokerov
На сайте с 18.07.2008
Offline
102
#6
VladZ:
Нужно написать парсер, хочу сделать заказ на фрилансе. Но прежде надо выяснить пару моментов


Собственно, на чем и в каком виде лучше писать парсер программисту, и почему? Сколько это будет стоить?
И не спалят ли нас "ирр"? нужны ли прокси или что-то еще?

От 30$ напишу парсер под ваши требования. Он будет тихонечко парсить объявления и никакие "ирр" ничего не спалят.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий