- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Прога парсит выдачу Google News за 1990-2010 годы по Вашему ключевику, заходит по ссылкам, берет полный текст статьи с сайтов. Выдача Google парсится с задержкой для избежания бана (могу добавить прокси), сайты парсятся в 30 потоков (можно изменить).
По кею "еда" спарсилось 400мб текста в UTF ~= 200мб в Win кодировке.
Сейчас прога работает в десктопном режиме, при желании могу сделать серверный вариант, добавить расписание.
Цена 50 WMZ.
Для покупки обращаться на upitersoft gmail.com.
Такую херню на фриланс-бирже можно в 2 раза дешевле заказать (недавно подобное заказывал). Какого фига покупать ее за 50?
Georgyi добавил 08.02.2010 в 09:04
Цену баксов 15-20 назначьте. Или просто поделитесь с народом бескорыстно. :)
Нолик из цены убрать и снимать каймак. )
(могу добавить прокси)
Без прокси парсер не стоит и 3-х долларов.
гугл внесет ваш IP в спам базу очень быстро.
Такую херню на фриланс-бирже можно в 2 раза дешевле заказать (недавно подобное заказывал). Какого фига покупать ее за 50?
Берите у школьников на фриланс-бирже за копейки, не вопрос.
Без прокси парсер не стоит и 3-х долларов.
гугл внесет ваш IP в спам базу очень быстро.
Гугл не вносил мой IP в спам базу, при круглосуточном парсинге. При достаточной задержке он этого никогда не сделает.
Задержка на гугле не тормозит весь процесс, т.к. основное время уходит на парсинг 50к статей, на которые указывает гугл.
Если есть реальное желание купить, но не устраивает цена - пишем на мыло.
UpiterSoft, можно парсить на английском и других языках?
UpiterSoft, можно парсить на английском и других языках?
заточено под кирилицу, если нужен другой язык - сделаю
Парсит в один файл или как? Чисто или "грязно" ? Пример нескольких статей можно увидеть в личку?
Парсит в один файл или как? Чисто или "грязно" ? Пример нескольких статей можно увидеть в личку?
Сейчас кидает все в один файл, могу сделать что б в отдельные.
Оставляет только текст (без HTML)
Сейчас в личку отправлю кусок того что спарсил
ээ, лично мне прога не нужна, но
Google News за 1990-2010 годы по Вашему ключевику, заходит по ссылкам, берет полный текст статьи с сайтов
вот то, что болдом, стоит несколько сотен зелени, однако, неизвестно как это реализовано у ТС, если всё так и есть, то это даже очень неплохой "универсальный" парсер.
ИМХО, ТС, нужно выложить скрины, примеры спарсенных текстов и оригиналы сайтов (урлов страниц) откуда парсилось.
зы: возможно, стоит отдать прогу за отзыв какому-либо заинтересованному мемберу с форума с большой репой, разумеется если найдёшь, у кого ещё нет универсалки )
snatch добавил 08.02.2010 в 13:29
стоит несколько сотен зелени
мда, разумеется, если в качестве источника, спайдер будет кормить алгоритм определения текста статей, с любых сайтов
то есть, отдаёшь список урлов сайтов, на выходе получаешь все статьи с этих источников
ээ, лично мне прога не нужна, но
Google News за 1990-2010 годы по Вашему ключевику, заходит по ссылкам, берет полный текст статьи с сайтов
вот то, что болдом, стоит несколько сотен зелени, однако, неизвестно как это реализовано у ТС, если всё так и есть, то это даже очень неплохой "универсальный" парсер.
ИМХО, ТС, нужно выложить скрины, примеры спарсенных текстов и оригиналы сайтов (урлов страниц) откуда парсилось.
зы: возможно, стоит отдать прогу за отзыв какому-либо заинтересованному мемберу с форума с большой репой, разумеется если найдёшь, у кого ещё нет универсалки )
snatch добавил 08.02.2010 в 13:29
мда, разумеется, если в качестве источника, спайдер будет кормить алгоритм определения текста статей, с любых сайтов
то есть, отдаёшь список урлов сайтов, на выходе получаешь все статьи с этих источников
Так и есть, парсер находит текст статьи, чистит от HTML. При желании скормить список URL можно не только с Google News. Правильно находит текст статьи в 95%+ случаев. Сейчас складывает все в 1 файл (мне было нужно именно так), но если кому-то нужно в разные - это менять 5 минут.
Скрины, примеры сделаю чуть позже.