Ищу парсер/граббер

M
На сайте с 15.05.2013
Offline
97
1758

Здравствуйте,

Мне нужен парсер(или граббер) который будет парсить необходимый контент по заданому ключу, который сам будет брать с УРЛ.

И потом сохранять спарсеный текс в файл ( в идеале публиковать на сайте в заданном месте)

Тоесть, есть сайт на WP. На сайте 1000 страниц. Нужна программа которая найдет текст к каждой странице (дополнительный тематический контент). Есть ли возможность реализовать такое посредством плагина? Может кто скрипт подскажет?

KS
На сайте с 14.03.2010
Offline
74
#1

Предположим, что прога текст нашла. А что дальше? Она должна всю страницу с текстом куда-то сохранить? Или только часть страницы? С разметкой или без?..

Не совсем ясно, что значит "брать с УРЛ". Будет в начале пачка готовых урелов в каком-то файле?..

Ragnarok
На сайте с 25.06.2010
Offline
226
#2

masimar, что-то типа https://wprobot.net/, сам не юзал но часто слышал в этом ключе

//TODO: перестать откладывать на потом
M
На сайте с 15.05.2013
Offline
97
#3
KarSlon:
Предположим, что прога текст нашла. А что дальше? Она должна всю страницу с текстом куда-то сохранить? Или только часть страницы? С разметкой или без?..

Не совсем ясно, что значит "брать с УРЛ". Будет в начале пачка готовых урелов в каком-то файле?..

Программа нашла текст по ключу (ключ взяла с УРЛ) и опубликовала текст в заданном месте на том же УРЛ.

Список URL есть

KS
На сайте с 14.03.2010
Offline
74
#4

Оба сайта (откуда брать и куда постить) под Вашим контролем, или это разные проекты?

M
На сайте с 15.05.2013
Offline
97
#5
KarSlon:
Оба сайта (откуда брать и куда постить) под Вашим контролем, или это разные проекты?

Разные.

Откуда брать (из ПС) отлично подходить программа x-парсер.

V2
На сайте с 21.06.2013
Offline
47
#6

Блин, ну когда люди научатся свои хотелки грамотно описывать?

Как я вижу из поста ТС, его хотелки выглядят примерно так.

  • Нужен плагин на WP.
  • Плагин должен по команде брать ключи из (? keywords) определенного поста.
  • По ключам парсить выдачу ПС, собирая урлы релевантных страниц.
  • Из полученых страниц выпарсить только текст (!) релевантный ключам.
  • Запихнуть это в БД и сделать так, чтобы это выводилось в определенном блоке его шаблона.

ТС, Вы реально думаете, что под Ваши специфические и узконапраленные хотелки кто-то уже разработал плагин?

M
На сайте с 15.05.2013
Offline
97
#7
vl273:
Блин, ну когда люди научатся свои хотелки грамотно описывать?
Как я вижу из поста ТС, его хотелки выглядят примерно так.
  • Нужен плагин на WP.
  • Плагин должен по команде брать ключи из (? keywords) определенного поста.
  • По ключам парсить выдачу ПС, собирая урлы релевантных страниц.
  • Из полученых страниц выпарсить только текст (!) релевантный ключам.
  • Запихнуть это в БД и сделать так, чтобы это выводилось в определенном блоке его шаблона.


ТС, Вы реально думаете, что под Ваши специфические и узконапраленные хотелки кто-то уже разработал плагин?

Есть Х-парсер, который выполняет половину задачи. Осталось только допилить его и сделать автопостинг нужного материала в нужный УРЛ.

Я не знаю есть такой или нет. Если бы знал не писал бы сюда.

V2
На сайте с 21.06.2013
Offline
47
#8

Поймите, десктопное приложение интегрировать в сайт еще сложнее, чем написать с нуля плагин под WP.

Хотя... Теоретически можно x-парсер допилить, чтобы результаты кидать по http протоколу на урл скрипта, который будет в БД заносить эту инфу. Но имхо, это Вам дороговато встанет, т.к. готовых решений скорее всего не существует. И форум Вам нужен иной. Здесь веб-разрабы тусуются. За десктоп тут вряд ли кто возмется.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий