Подскажите хороший парсер для форумов

1 234
NothingMatters
На сайте с 12.06.2017
Offline
45
#31
_SP_:
Вы смеетесь что-ли ?
Исходя из личного опыта - собирается инфа довольно просто довольно простыми парсерами.
Хуже всего ситуация с фотками с говнохостингов, там да, могут быть нюансы.
Форумы слава богу довольно сильно структурированы...
В принципе, можно под популярные стандарты сделать парсеры, но будет недешево, не миллионы долларов, но тысячи так уж точно.
Под нужды ТС-а действительно лучше пользоваться яндексом...
ЗЫ. Еще надо не забывать, что под сам парсинг форумов тоже нужно железо + прокси. И это нифига не 3 копейки.

ТС хочет со всех форумов (вообще со всех в сети) получать актуальную инфу по нужной ему теме.

ТСа не устроят только популярные форумы. Он же четко написал что ПС по его запросам находят контент только на популярных форумах, а на остальных "ничо нету".

Так что думаю ценник в $500kk вполне адекватный за ежедневное сканирование, индексирование и хранения миллионов форумов.

iskrakovrov
На сайте с 17.12.2015
Offline
108
#32
Togelta:
iskrakovrov, объективно – идея плохая. Его никто не купит, ну а если и купит, то всё равно не в том количестве, чтобы хотя бы поддерживать бизнес на нулевой отметке, не говоря про какую-то прибыль. На будущее: там где нет конкуренции, там бизнеса не будет, ну только если вы не Цукерберг или Ларри Пейдж, которые, грубо говоря, создают целые отрасли и двигают их в массы

Ну вам виднее))) Не буду спорить)))))

Мощный софт для работы c Facebook https://soft.fbcombo.com . 4g Прокси Украина и США. телеграм iskrakovrov
H
На сайте с 01.08.2018
Offline
3
#33

Подскажите а дорого выйдет написатть парсер которая будет анализировать определенный ресурс, например Авито на появление новых объявлений по заданным ключам и сообщать после того как эти объявления пропадут из базы, предположительно будут проданы?

_
На сайте с 24.03.2008
Offline
381
#34

Зависит от исполнителя и реальных хотелок связанных с фронтэндом.

От десятков, до тысяч долларов.

А авито будет вам без сети прокси отдавать информацию ?

Сдается мне, достаточный объем проксей "за год" дороже скрипта может обойтись...

---------- Добавлено 29.08.2018 в 19:07 ----------

NothingMatters:
ТС хочет со всех форумов (вообще со всех в сети) получать актуальную инфу по нужной ему теме.

Со всех вряд ли выйдет. Однако раньше, на амазоне лежал насколько я помню "дамп интернета", и по-моему его даже обновляли...

200Online
На сайте с 22.01.2017
Offline
86
#35

Если я правильнo пoнял задачу, то для выпуска первой версии с поддержкой двуx языков (RU+EN) понадoбится примерно такая конфигурация.

- подсистема поиска, проверки и хранения инфoрмации о фоpумах - VPS 40$ в месяц

- подсистема с парсерами, для начала на одном сервере - VPS 40$ в месяц

- сеpвер базы данных, для начала один - VPS 160$ в месяц

- клиентский интерфейс - VPS 40$ в месяц

- опционально, сеpвер под Clickhouse для сбора расширенной статистики.

Такой минимум, без прокси и покупки инвайтов обойдется примеpно в 300$ в меcяц.

Каждый месяц за сервера, просто чтобы вся сиcтема могла хоть как-то pаботать.

Без учета стоимости даже минимальной поддеpжки, не говоря об улучшениях.

Разработку правильнее будет начать под один язык. Русский дешевле, английский перспективнeе. Если сделать английcкий, остальные делать ни к чему.

Цена за пеpвую версию может быть в районе 20к $.

Работы около полугода на MVP + затем полгода на pелиз.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий