Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 19.01.2019, 15:17   #401
alkoustas
Аспирант
 
Аватар для alkoustas
 
Регистрация: 24.07.2009
Сообщений: 131
Репутация: 6958

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Цитата:
Сообщение от mustafa Посмотреть сообщение
1) Сколько капч на 1000 запросов в среднем выдает гугл при парсинге? (на нашем парсере это сейчас основная проблема, по 50$-100$ в день уходит на antigate)
Уже давно настоящие мужики не платят за пробив рекапчи2, тем более по 50-100 баксов в сутки, от этого пропадает сам смысл существования жизни.
Попробуй XEvil-4 использовать для этих целей. При твоих затратах на капчу, он окупается буквально за несколько дней.

Я сам использую a-parser в связке с XEvil-4 и поверь моему не скромному опыту, это две программы которые должен иметь в своем арсенале каждый человек работающий в интернете.

Получается так что a-parser экономит твоё время, XEvil-4 экономит твои деньги. И сразу гармония в душе )))
__________________
Эссейная партнерка с моментальными выплатами без шейва.
alkoustas вне форума   Ответить с цитированием

Реклама
Старый 25.01.2019, 07:59   #402
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 151
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

1.2.387 - улучшенный Просмотр логов, новый парсер Яндекс SafeBrowsing, улучшения в JS парсерах

Улучшения
  • Улучшение Просмотра логов:
    • Фильтр по неудачным/выполняющимся задачам
    • Сортировка по времени выполнения
    • Поддержка пагинации и поиска по логам
    • Отображение парсера и запроса
  • Добавлен новый инструмент tools.memory - key/value хранилище в памяти
  • Добавлен новый парсер SE::Yandex::SafeBrowsing, который позволяет проверить сайт в блэклисте Яндекса
  • В SE::Google::Trends реализована возможность сравнивать данные по ключевым словам
  • Улучшения в логике Shop::Amazon
  • Улучшена стабильность JavaScript парсеров (движка v8)
  • JS парсеры: добавлен метод .addElement, который позволяет заполнять массивы в results более удобным способом
  • JS парсеры: добавлена опция resultArraysWithObjects для this.parser.request, которая позволяет возвращать массив объектов в результатах при вызове другого парсера
  • JS парсеры: добавлено кэширование DNS ответов

Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена обработка пустых запросов в JavaScript парсерах
  • Исправлен вывод картинок в лог, проблема появилась в одной из предыдущих версий
  • Исправлена работа с некоторыми видами прокси
  • Исправлена работа опции Stop when found в SE::Yandex::Position
  • В SE::Yandex при получении ошибки от антигейта не менялись прокси
  • Исправлен парсинг ссылок на потенциально опасные сайты в SE::Yandex
  • JS парсеры: исправлена работа check_content с регулярными выражениями, в которых содержится кириллица
  • JS парсеры: исправлено зависание потоков при использование tls
  • JS парсеры: множественные исправления в работе сокетов
A-Parser Support вне форума   Ответить с цитированием
Старый 05.02.2019, 10:01   #403
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 151
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Сборник рецептов #29: язык ключевых слов, нормализация запросов и сбор тайтлов в глубину
29-й сборник рецептов, в котором опубликован JS парсер для определения языка ключевых слов, предложен вариант решения для нормализации запросов, а также показано, как парсить карту сайту и одновременно собирать тайтлы страниц. Поехали!

Определение языка ключевого слова через Яндекс Переводчик
В A-Parser есть несколько встроенных парсеров для определения языка страницы. Но иногда возникают задачи отфильтровать список ключевых слов по одному или нескольким языкам. Определять язык текстовой строки довольно неплохо умеют различные переводчики, поэтому для решения задачи был выбран Яндекс Переводчик, и по ссылке выше доступен JavaScript парсер, реализующий определение языка ключевого слова.


Нормализатор запросов
При сборе семантического ядра часто возникает вопрос - какая форма запроса является наиболее частотной, например: "купить диван" или "диван купить". Если запрос 3-х или 4-хсловный, то вариантов становится еще больше. Решение такой задачи на базе парсера WordStat доступно в нашем Каталоге по ссылке выше.


Карта сайта и заголовки
Сбор карты сайта - это довольно простая задача для А-Парсера, которая решается встроенным парсером ссылок. Но иногда, кроме простого сбора ссылок, нужно еще и собрать тайтлы. И это можно делать параллельно с проходом по ссылкам в глубину. Готовый пресет доступен по ссылке выше.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
A-Parser Support вне форума   Ответить с цитированием
Старый 15.02.2019, 10:03   #404
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 151
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Видео урок: Создание JS парсеров. Использование Node.js модулей
Продолжение цикла уроков по созданию JavaScript парсеров. В этом уроке показано как использовать Node.js модули при написании собственных парсеров.

В уроке рассмотрено:
  • Работа с Node.js и Node package manager (npm)
  • Первый запуск npm, установка модулей (пакетов)
  • Использование модулей при создании JS парсера
  • Ресурсы для работы с npm
Ссылки:Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
A-Parser Support вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 17:33. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны