A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров - Страница 37 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 27.03.2018, 10:17   #361
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 139
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo


Улучшения
  • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования здесь
  • Добавлена защита от случайного закрытия окна парсера
  • В SE::Yahoo добавлены Parse all results и Parse related to level
  • SE::Yandex::TIC полностью переписан, добавлена возможность проверять домены на клей
  • В Rank::MegaIndex добавлена поддержка ReCaptcha2
  • Улучшен парсинг сниппетов в SE:: DuckDuckGo
  • Улучшен сбор почт в HTML::EmailExtractor
Исправления в связи с изменениями в выдаче
  • Обновлен алгоритм Bypass Cloudflare
  • SE::Bing::Translator почти полностью переписан в связи с изменением логики работы переводчика Bing
  • Исправлена работа SE::Seznam с некоторыми видами запросов
  • Исправлен парсинг related keywords, а также мобильной выдачи в SE::Google::Modern
  • Исправлен парсинг related keywords в SE::Bing
  • Исправлена работа SE::IxQuick при работе с русскоязычными запросами
  • SE::Yandex:: Direct, SE::Google::ByImage, SE::Yandex::WordStat
Исправления
  • Исправлена работа SE::Google::Modern на IPv6 прокси
  • Исправлена ошибка, из-за которой SE::Google::Modern собирал ссылки с пометкой опасных сайтов в общий массив ссылок
  • Исправлена работа с оператором поиска + в SE::Bing
  • Исправлен парсинг запросов со спецсимволами в SE:: DuckDuckGo
  • Исправлена работа Rank::MajesticSEO
  • Исправлен баг с overrideOpts в JS парсерах
  • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
  • Исправлена работа tools.js, баг появился в одной из предыдущих версий
  • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий
A-Parser Support вне форума   Ответить с цитированием

Реклама
Старый 27.03.2018, 16:12   #362
quickmouse
Олигарх
 
Аватар для quickmouse
 
Регистрация: 29.06.2009
Адрес: Паттайя
Сообщений: 225
Репутация: -1269

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Отличное ПО. Лучший софт в своем сегменте. Однозначно стоит своих денег. Рекомендую всем кому нужен парсер на все случаи жизни. Гибкий, быстрый. Супер саппорт, прекрасная wiki. Пользуюсь более 2х лет, очень помогает в сборе информации.
__________________
собираю на домик в ГОА
quickmouse вне форума   Ответить с цитированием
Старый 06.04.2018, 10:09   #363
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 139
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Видео урок: Создание JS парсеров. Работа с CAPTCHA

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.



В уроке рассмотрено:
  • Создание JS-парсера для разгадывания капчи
  • Работа с объектом this.captcha внутри JavaScript кода
  • Описание процесса разгадывания каптчи, реализованного в A-Parser
Статья и готовый парсер: https://a-parser.com/resources/257/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
A-Parser Support вне форума   Ответить с цитированием
Старый 17.04.2018, 09:59   #364
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 139
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

Получение страниц сайта и проверка индексации в Google и Яндекс

Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.


Парсим title и description для TOP10 поисковой выдачи по ключевому слову

Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.


Поиск сабдоменов сайта

Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется HTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.


Кроме этого:Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:
A-Parser Support вне форума   Ответить с цитированием
Старый 27.04.2018, 10:12   #365
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 139
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Сборник статей #3: пагинация, переменные и БД SQLite

В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

Обзор вариантов прохода по пагинации

В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.


Переменные в парсерах JavaScript

JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.


Разработка JS парсера с сохранением результата в SQLite

Начиная с версии 1.2.152 в A-Parser появилась возможность работать с БД SQLite.
В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей
A-Parser Support вне форума   Ответить с цитированием
Старый 08.05.2018, 10:01   #366
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 139
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

1.2.185 - увеличение скорости в SE::Google::Modern, новые возможности Net:: DNS, множество улучшений


Улучшения
  • SE::Google::Modern - многократно увеличена скорость парсинга
  • Множество улучшений в Net:: DNS:
    • Возможность указать несколько DNS и задать метод выбора
    • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
    • Возможность вывести в результат использованный DNS сервер при удачном запросе
  • В SE::Google::Modern добавлена опция Use sessions
  • В SE::Yandex::WordStat добавлена настройка пресета антигейта для логина
  • Также в SE::Yandex::WordStat удалены настройки Use logins/Use sessions, теперь они включены всегда
  • Добавлена возможность автоматического удаления задания из Завершенных
  • В макросе подстановок {num} добавлена поддержка обратного отсчета
  • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
  • В JavaScript парсерах добавлена возможность прямого сохранения в файл
  • В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
  • В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog
Исправления в связи с изменениями в выдачеИсправления
  • Количество неудачных больше не обнуляется при постановке на паузу
  • Исправлена проблема с подключением Node.js модулей на Linux
  • Исправлено падение парсера в редких ситуациях при использовании JS парсеров
  • Решена проблема с подключением Node.js модулей lodash, sequelize
  • Исправлена ошибка итератора при равных границах в макросе {num}
A-Parser Support вне форума   Ответить с цитированием
Старый 11.05.2018, 18:51   #367
LinkerClub
Аспирант
 
Регистрация: 29.04.2015
Сообщений: 188
Репутация: 5570
Отправить сообщение для LinkerClub с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Маст хев софт для сеошников и вебмастеров. Часто выручает при профильных задачах, простенький шаблон написать довольно-таки легко. Лучший софт в своем сегменте.
LinkerClub вне форума   Ответить с цитированием
Старый 18.05.2018, 10:14   #368
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 139
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Разгадывание рекаптч в JS парсере

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.



В уроке рассмотрено:
  • Описание и настройка парсера Util::ReCaptcha2
  • Описание принципа работы ReCaptcha2
  • Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
A-Parser Support вне форума   Ответить с цитированием
Старый 29.05.2018, 10:07   #369
A-Parser Support
Аспирант
 
Аватар для A-Parser Support
 
Регистрация: 02.06.2013
Сообщений: 139
Репутация: 14839
Отправить сообщение для A-Parser Support с помощью ICQ Отправить сообщение для A-Parser Support с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

Получение категорий сайтов из Google

Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.


Выгрузка товаров в формате YML

YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.


Парсим Google новости с датой и преобразуем ее

В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.


Кроме этого:Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:
A-Parser Support вне форума   Ответить с цитированием
Старый 14.06.2018, 10:52   #370
d4k
Much more is coming
 
Аватар для d4k
 
Регистрация: 03.03.2010
Адрес: Odessa
Сообщений: 1,009
Репутация: 71514
Отправить сообщение для d4k с помощью ICQ Отправить сообщение для d4k с помощью Skype™

По умолчанию Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Апарсером пользуюсь уже более 3х лет. На его основе создал свой мини-сервис съема позиций и анализа конкурентов. Каждые день Aparser помогает с множеством рутинных задач. Не могу не поблагодарить саппорт за свой профессионализм и оперативность! Рекомендую!

Последний раз редактировалось d4k; 14.06.2018 в 11:07..
d4k вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 21:28. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны