UPD Парсер тематического контента {free} Pt2

в личку ему пиши. мне твое фуфло неинтересно.

так тыж сам спросил - есть ли нормальный платный софт, а не говно как в первом посте, я и ответил

Dos3, слыш ты щень, за словами следи, дерьмо на первой паге одно - это ты непрошенное.

а мне похрен на твои интересы :)

а где именно я задл такой вопрос в данном топике?

ядаже знаю ответ. - нигде.

Да нет, действительно интересно было.

Ну в теме уже ведь писали, парсит только с 1 поисковика. Нет прокси. Встречаются дубли контента, когда один и тот же текст парсится несколько раз.

Это явные недостатки, о которых я узнал, даже не скачивая Ваш парсер.

А если потестить и сраванить с тем же X-parser'ом, то думаю недостатков будет больше в разы.

ну и с**л отсюда

могу сказать, как я делаю. несколько серваков с кравлерами. общая база урлов. бегают по сайтам, ищут rss фиды, скачивают фиды (из них чистый текст проще получать, так как это валидный xml). потом создается индекс скачанных текстов. по индексу я ищу подходящие для морфинга тексты. язык определяется по тексту. узкое место это поиск по индексу, так как для поисковых запросов все-таки приходится парсить Google/Bing autocomplete. ты про word2vect писал. думаю, что можно использовать для получения кейвордов из самого текста. далее задача классификации тематики текста. я где это видел. по-моему, Stanford NLP это делает

slavok, ну не тести. что я тебе еще сакажу, если допилить самому не судьба - можешь денег отлистать за хэпарсер... или ап подождть.

да не нервничай ты так, а то клаву ещё сломаешь, и скучно в разделе станет 🙅