Парсер статей.

http://l00t.ru/databases/faces2.html

:)

=> поиск источников статей на автомат ставится как нефиг делать ? 🙄

видели мы кравлеры, только не понял, к чему это было

это к тому, что некоторые не парятся и пытаются выглядеть гуглем. А еще к тому, что тебе чтобы найти достаточно контента для своих доров, в принципе и пары недель "поиска источников на автомате" хватит, без особых заумностей.

мне хватит десятиминутного затачивания парсера под несколько источников, которые я найду за минут 5 и двухчасовой работы парсера - и вообще без заумностей :)

но мы о разном, я о невозможности полной автоматизации собирания статей, именно статей, а не просто текста, это не про доры

ага, попутно рождая темы в разделе гугла "Гугл ложит мой сервак, не смотря на роботс, что мне делать?"

тут народ в основном двигается по адалту, эротических рассказов со stulchik.net имхо за глаза должно хватить под доры) у меня для технология такая - брать с каждого рассказа по абзацу и замешивать туда ключевые слова.. как по вашему норм такое ?

зыж: сорри за офтоп)

школьнег_29A, а еще лучше перемешивать предложения...

кстати, именно хорошую статью а не текст можно таки выдернуть на автомате. попробовать во всяком случае. Отталкиваться, например, от того утверждения, что хороший документ есть сеошный документ, соотв. ввести критерии на семантику, и попробовать фильтровать подобным образом. Думаю может получиться нормалек.

А про настройку под конкретные источники я тебе так скажу, что ты можешь всю ночь парсить сайт, и потом увидеть, что оказывается контент там заюзанный и непригодный, а пробники, которые ты брал до этого, ну они просто были исключением, которое не попало в индекс (хотя ты сам наверняка с подобным сталкивался).

И, если уж на то пошло, и мы говорим о ручном затачивании, то встает вопрос "а нужен ли парсер?". Я когда-то давно собирал порно рассказы, так я почти весь стульчик собрал вручную в опере минут за сорок, и этого контента хватило не на одну пачку говнотекстов. Соул соул, как говорится.

кладет! ☝

это, конечно, что-то умное... в общем можно и так, товарищ проктолог 😂

только по такому признаку можно найти, а не выдернуть... выдернуть статью без мусора никак не получится (конечно, нет ничего невозможного, но...), к тому же найденное (именно по такому прзнаку) в большинстве статьей являться не будет, уж лучше искать раздел "Статьи" на сайте

ох и о разном мы говорим...

вот так Культ Технологии, наверное, давно это было :)

ладно, проехали ))

ну вообще да )

хех... вроде все соображающие люди, но понаписывали же ведь уже 4-е страницы а толковых советов НОЛЬ и даже меньше.

Цитировать не буду всем кто писал и.т.д. про свои файловые системы, про то как хорошо подогнать, и про то как вы сдуваете весь сайт....

Могу сказать одно выдрать пусть не всегда качественно всю статью - можно. Пусть в 70% ты вырвешь все полностью а в 30% скрипт отбросит статью ибо не сможет решить она ли это, но это лучше чем скачать сайт и сделать дубликат всего что там есть и все в куче без тематик и.т.д. ( более подробных тематик имеется ввиду) то как говорили выше- вперед и с песней на все что уже есть, но если у вас при каждом парсинге по 1000 источников и с каждого источника вы заберете максимум 10 статей? стоит ли подгонять скрипт?? вообщем тема угасла проще самому додумать то что уже есть...

З.Ы.

Видел результаты парсера который в 70% минимум все выдерает ☝.