Парсер liveinternet.ru

newseditor
На сайте с 13.11.2006
Offline
123
#11

.:nbd:., актуальнее было бы сделать парсинг сайтов по запросам ключевых слов с открытой LI статистикой. Раньше пользовался этим сервисом, но, к моему великому сожалению, он помер. Осилите? За такой и приплатил бы чуток)

.:nbd:.
На сайте с 04.11.2008
Offline
98
#12
newseditor:
.:nbd:., актуальнее было бы сделать парсинг сайтов по запросам ключевых слов с открытой LI статистикой. Раньше пользовался этим сервисом, но, к моему великому сожалению, он помер. Осилите?

Насколько я понял mih4 просил о том же? Накидайте примерно ТЗ, что должно быть. Через день-два напишу.

newseditor:
За такой и приплатил бы чуток)

Не, спс, деньги у меня есть =) Времени не хватает на все, но здесь Вы мне врядли поможете =)

Палю тему Дорген (/ru/forum/439165) + кеи + контент (http://datarama.biz/) + еще немного кеев и скриптов (http://amazingsoftware.ru/) = $$$ Мы делаем доры, а не пишем романы (c) один Дима рефка dino_spomoni (http://goo.gl/w62v3)
newseditor
На сайте с 13.11.2006
Offline
123
#13

Уважаю))

ТЗ простое: вводишь запрос в поле, если по этому запросу у сайта статистика закрыта паролем - появляется ответ "no", если да - ссылка "yes" на li.ru стату сайта.

Было бы отлично сделать несколько полей, скажем, для 10 запросов сразу по разным кеям.

Было бы совсем хорошо парсить выдачу трех основных поисковиков.

Было бы супер, если бы можно было проверять не только русскоязычные запросы, но и на английском языке.

У меня все))

mih4
На сайте с 15.04.2007
Offline
145
#14

если подбить в общих чертах, то получается все задание можно разделить на два блока.

первый блок парсинг подходящих сайтов.

1.сделать поля ввода запросов или взять из файла...

2.выбор поисковиков через чек боксы и колво сайтов из топов 10-100

3.добавить задержка запроса для парсинга или через прокси.(лутше сделать не поля, а брать из списка)

4.складируем все url в текстовый файл,

обрезаем до зоны домена,

проверяем на дубли.

проверяем есть ли доступ к статистике без пароля.

второй блок.

все тоже что уже реализовано в парсере, единственное брать url из списка и подставлять по очереди.

LA
На сайте с 03.06.2008
Offline
105
#15
mih4:
все тоже что уже реализовано в парсере, единственное брать url из списка и подставлять по очереди.

сделал у себя такое) сегодня-завтра набросаю парсинг за месяц и солью сюда

lord_alfred добавил 01.05.2009 в 14:51

Дописал парсер.

Теперь он умеет:

1. Парсить открытые статы и уже оттуда тянуть кейворды.
2. Парсить кейворды из статы по месяцам, а не дням - меньше трафика кушает.

Скачать:

http://depositfiles.com/files/uzwbust8i

http://ifolder.ru/11899728

lord_alfred добавил 01.05.2009 в 14:57

lord_alfred:
сделал у себя такое) сегодня-завтра набросаю парсинг за месяц и солью сюда
mih4
На сайте с 15.04.2007
Offline
145
#16
lord_alfred:


Теперь он умеет:
1. Парсить открытые статы и уже оттуда тянуть кейворды.
2. Парсить кейворды из статы по месяцам, а не дням - меньше трафика кушает.

так наши программеры и напишут вполне коммерческий продукт:)

спасибо им за это.

spambot
На сайте с 12.12.2008
Offline
55
#17
lord_alfred:

2. Парсить кейворды из статы по месяцам, а не дням - меньше трафика кушает.

чтото он у меня тока за май парсит

так и должно быть? в опциях вроде указал 2а мес.

Every time you attempt to parse HTML with regular expressions, the unholy child weeps the blood of virgins, and Russian hackers pwn your webapp. (http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454)
LA
На сайте с 03.06.2008
Offline
105
#18

Это он парсит за апрель) За май статы ещё нету

spambot
На сайте с 12.12.2008
Offline
55
#19
lord_alfred:
Это он парсит за апрель) За май статы ещё нету

да нет я лапами проверил парсит именно за май :)

LA
На сайте с 03.06.2008
Offline
105
#20

Странно %) Скинь линк на стату - посмотрю, может действительно баг какой)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий