MassArticleParser - массовый парсинг статей. Один парсер для всех сайтов.

sema_87, какими именно? Парсит все языки, в которых есть буквы, слова идут слева направо, а предложения заканчиваются точкой, вопросительным или восклицательным знаком.

А для, наверное, последних покупателей нескольких лицензий ЖакоДоргена скидки не предусмотрены?)))

iskrakovrov, скидок нет, т.к. продаю за половину от желаемой стоимости. Для такой уникальной программы (вот сколько я в seo, столько разговоров было об универсальном парсере, но так никто и не сделал) это вообще не цена.

Сделал обновление 2.0.2. Улучшил очистку от мусора.

Парсится в один файл? либо создаётся множество текстовых документов?

devkalion, каждая статья в отдельный файл.

Сделал обновление 2.0.3. Добавил возможность парсинга сайтов в папках: site.ru/blog/.

Денис Сарайкин, фишка в том, что мой парсер сам определяет начало и конец статьи, удаляет всё лишнее.

Думаю что всем интересно качество результата...

JakoKruzo, можно попросить выпарсить к примеру новости по данной ссылке...

https://news.google.com/news/search/section/q/seo/seo?hl=ru&gl=RU&ned=ru_ru

И выложить тут архивом.

Полагаюсь на порядочность и думаю что архив будет без доп обработки, т.е. как получится... и лучше с дефолтными настройками.

Думка, такой урл, как вы написали, указать нельзя. Программе нужно указывать список сайтов:

site1.ru
site2.ru*articles/
site3.ru/blog/
...

Для примера спарсил топ гугла по запросу "статьи о ремонте автомобилей" - http://jako.tech/download/stati-o-remonte-avtomobiley.zip

Ограничение в 300 страниц с сайта поставил. Два сайта не спарсились, видимо защита от ботов стоит, либо разметка с грубыми ошибками.

Лучше всего парсятся середняки. На мелких сайтах часты ошибки в разметке, а на крупных порталах обычно есть защита от ботов, либо всякие технические навороты, затрудняющие парсинг.