[VK] Парсер комментариев со стен групп/пабликов

123 4
M
На сайте с 14.05.2010
Offline
55
16980

Парсер комментариев со стены паблика/группы. В закрытых группах (если посты/комментарии не видны из вне) аккаунт должен быть участником.

Назначение программы: сбор контента под дорвеи (по крайней мере мне так видится)

Параметры парсинга:

  • ограничение по минимальной длине коммента
  • ограничение по минимальной длине строки (актуально для многострочных комментариев)
  • сокращать пустые строки, если после очистки комментария от мусора строка удаляется полностью (остается пустая строка), то она удаляется
  • «просматривать не более...» количество постов, которые необходимо просмотреть на предмет парсинга комментариев.

Стоимость программы — 600 р./20 USD.

Срок действия лицензии и тех поддержки - бессрочно.

Если Вы собираетесь купить после того, как пользовались демо-версией программы, просьба сразу указывать «Код инсталяции», который можно найти на панели активации (вызывается по кнопке с ключем)

Ссылка на программу: VkCommentParser download

При первом запуске программы необходимо ввести имя пользователя и свой емейл и активировать пробную версию. Ключ и дальнейшие обновления будут высылаться на указанный емейл.

Ограничения демо-версии:

1. парсинг идет только по lentaru (ввести можно любую группу/паблик, но ID изменится на 29534144)

2. пробный срок - 2 дня (думаю, максимум получаса хватит чтоб решить покупать или в мусорку :) )

Контакты:

  • в этой теме (минимум в течении месяца)
  • личка
  • ICQ#: 658348 (на статус не смотреть, периодически админ с серваком "чудит", в рабочие дни/время всегда в онлайне)
  • E-mail: smw1975@gmail.com (с темой содержащей «vk komment parser»)
  • по ссылке в подписи

Примечание: так как на форуме практически новичек, пользователям с репой выше моей выдам три копии программы. Для этого отписываемся в теме.

З.Ы. Любые конструктивные (и не совсем) положительные/отрицательные комментарии приветствуются. Т.к. программа написана по моему видению, и, скорее всего, далека от идеала.

Teimos
На сайте с 22.12.2009
Offline
56
#1

Поддержка прокси, парсинга в несколько потоков и с нескольких акков есть?

Так же неплохо было бы описать отличия демо версии от полной.

Подбор дроп-доменов и доменов с историей (http://goo.gl/SiFXt)
M
На сайте с 14.05.2010
Offline
55
#2
Teimos:
Поддержка прокси, парсинга в несколько потоков и с нескольких акков есть?
Так же неплохо было бы описать отличия демо версии от полной.

На данный момент не вижу смысла. Используется API с ограничением 3 запроса в секунду. Если парсить без API, "тяжко" добираться до старых.

Если вопрос в бане и прочем пара фактов про API:

1. этим парсером собирал с lentaru комменты - все ОК

2. не этот софт, писал сканер пабликов/групп по диапазону ID - 50 потоков (на тех методах нет ограничений) + 4 часа, перебрал все имеющиеся ID (сколько их там млн) - бана нет.

Просто на данный момент - выложено больше для изучения спроса. Многопоток (и прокси по необходимости) при необходимости будут.

Насчет ограничений - Вы правы, мое упущение, сейчас поправлю пост. Ограничение только - парсинг идет по vk.com/lentaru, тестовый срок - два дня

MudryiKaa
На сайте с 31.01.2010
Offline
143
#3

Можно попробовать "поковырять" данную программку. Запишусь, пожалуй, на бесплатную версию.

Здесь (http://webmasters.leadpush.ru/?ref=kGzamTENhj) адвокаты, риелторы и банки платят 100-500 рублей за клиента!!! Готовые СЯ для дорвеев и СДЛ.
M
На сайте с 14.05.2010
Offline
55
#4
MudryiKaa:
Можно попробовать "поковырять"

скачиваем, активируем бесплатный период и в личку, с емейлом активации + кодом инсталяции

UPD: одна бесплатная копия пока "заморожена" - человек изъявил желание в другой теме потестить

MudryiKaa
На сайте с 31.01.2010
Offline
143
#5

В течение часа сделаю - хочу на другой комп его поставить.

AlexKotLeopold
На сайте с 16.03.2010
Offline
59
#6

1) можно ли будет управлять глубиной? сейчас есть ограничение по глубине?

2) будет ли сама находить закрытые группы ( например по заданным тегам ) ?

Создание и продвижение сайтов - Promonika.com (http://promonika.com/). Видео портал Ratatu.com (https://ratatu.com/).
M
На сайте с 14.05.2010
Offline
55
#7
AlexKotLeopold:
1) можно ли будет управлять глубиной? сейчас есть ограничение по глубине?
Mifody:
«просматривать не более...» количество постов, которые необходимо просмотреть на предмет парсинга комментариев.

я так понимаю Вы о этом? Просматривать может ВСЕ посты (до самого первого), и ВСЕ комменты (до самого первого)

AlexKotLeopold:
2) будет ли сама находить закрытые группы ( например по заданным тегам ) ?

программа ничего не ищет, только собирает из заданной группы

donc
На сайте с 16.01.2007
Offline
638
#8

Ну давайте я попробую фри версию, что для этого надо?

Сравню с имеющимся у меня Content Downloader

А на этом SEO-форуме поиск работает ( http://webimho.ru/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )
M
На сайте с 14.05.2010
Offline
55
#9
donc:
Ну давайте я попробую

в личку с ID/email

Фсе, раздача "плюшек" временно прекращена :)

AlexKotLeopold
На сайте с 16.03.2010
Offline
59
#10

По данной программе:

скорость парсинга несмотря на однопоточность хорошая - примерно 1000 комментариев/минута при дефолтных настройках

пару раз конечно подвисала и выдала ошибки...нужно еще поработать в этом плане

очень не хватает пакетного добавления групп (так же очищения)

еще один момент - это то, что все пишется сейчас в 1 файл - output.txt

для каждой группы нужно создавать свой отдельный txt

для более продвинутого варианта можно добавить еще поле для оформления либо спецсимволами для дальнейшей работы, либо тегами комментарии

например по формуле( <div class="c">{comment}</div>\n )

+ возможность задавать в формулу имена и даты, если они так же вытягиваются

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий