A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

[Удален]
#381

Гибкий и быстрый парсер, однозначно стоит своих денег. Использую в совместно с XEvil-ом.

A-Parser Support
На сайте с 02.06.2013
Offline
65
#382

Видео урок: Полноценный Telegram канал на базе A-Parser

Это видео демонстрирует возможность создания полноценного Telegram канала на базе A-Parser. Парсер периодически и без вмешательства пользователя будет собирать контент и публиковать его на канале.

В уроке рассмотрены:

  • Регистрация и настройка канала в Телеграм.
  • Последовательное выполнение нескольких заданий.
  • Сохранение промежуточных данных в базу SQLite с последующим чтением.
  • Настройка пресета для постинга сообщений в Telegram-канал.

Статья с подробным описанием процесса создания: https://a-parser.com/resources/300/

Ссылки на готовые пресеты:

https://a-parser.com/resources/38/

https://a-parser.com/resources/298/

https://a-parser.com/resources/299/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser - парсер для профессионалов SEO (/ru/forum/720568) SpySerp.com - бесплатный сервис отслеживания позиций (/ru/forum/944804)
A-Parser Support
На сайте с 02.06.2013
Offline
65
#383

Сборник рецептов #26: мобильные версии сайтов, список регионов Яндекса и упоминания домена в индексе

26-й сборник рецептов. В нем будут показаны: проверка наличия мобильной версии сайта через Bing, парсинг полного списка регионов Яндекса и способ поиска упоминаний домена в индексе поисковой системы. Также показан пример работы с Node.js модулем mysql2, который позволяет работать с MySQL базами данных. Поехали!

Проверка наличия мобильной версии через Bing

На сегодняшний день наличие мобильной версии является одним из важнейших критериев качества сайта. По данным различных организаций доля мобильного трафика уже давно превышает десктопный. Именно поэтому мобильная версия сайта позволяет увеличить посещаемость сайта, ведь большинство крупных поисковиков отдают предпочтение в выдаче сайтам, имеющим полноценную мобильную версию. Проверить наличие и соответствие стандартам можно с помощью небольшого пресета по ссылке выше.

Получение полного списка регионов Яндекса

Яндекс не публикует в открытом виде полного списка всех регионов, используемых в поиске. И как оказалось, найти полную и актуальную базу в интернете практически невозможно. Поэтому мы исправляем это и по ссылке выше публикуем JavaScript парсер, который позволяет собрать свежую и максимально полную базу регионов Яндекса.

Проверка упоминаний домена в индексе Гугла

Иногда возникает задача по поиску упоминаний домена в индексе поисковой системы. Именно с такой задачей к нам обратился один из пользователей A-Parser. Поэтому по ссылке выше мы публикуем пресет, решающий данную задачу.

Кроме этого:

Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

mustafa
На сайте с 28.10.2005
Offline
202
#384

Пара вопросов.

1) Сколько капч на 1000 запросов в среднем выдает гугл при парсинге? (на нашем парсере это сейчас основная проблема, по 50$-100$ в день уходит на antigate)

2) Есть ли возможность при работе через API на каждый запрос указывать адрес прокси, который надо использовать?

3) Есть ли возможность при работе через API на каждый запрос указывать юзер агент?

4) Есть ли возможность при работе через API на каждый запрос указывать cookies?

A-Parser Support
На сайте с 02.06.2013
Offline
65
#385
mustafa:
Пара вопросов.

1) Сколько капч на 1000 запросов в среднем выдает гугл при парсинге? (на нашем парсере это сейчас основная проблема, по 50$-100$ в день уходит на antigate)

2) Есть ли возможность при работе через API на каждый запрос указывать адрес прокси, который надо использовать?

3) Есть ли возможность при работе через API на каждый запрос указывать юзер агент?

4) Есть ли возможность при работе через API на каждый запрос указывать cookies?

Здравствуйте.

1) Даже средних данных нет, так как кол-во каптч величина непостоянная, меняться может как в большую так и в меньшую сторону.

2)Нет. Возможности указывать прокси для каждого запроса через API нет.Можно указывать какой проксичекер будет использоваться. Но такую возможность можно реализовать при создании JS парсера, и затем запуская этот парсер по API указывать нужную прокси.

3)Указывать Cookie и User-Agent через API можно в тех парсерах, которые поддерживают эту возможность через интерфейс. Например Net::HTTP

---------- Добавлено 06.11.2018 в 11:40 ----------

1.2.335 - новые парсеры картинок, оптимизации в JS парсерах, общие улучшения работы

Улучшения

  • Добавлено 2 новых парсера:
  • Полностью переписаны 2 парсера:
    • SE::Google::Images - добавлены региональные настройки, поддержка рекаптчи, возможность задавать различные фильтры поиска и сбор анкоров, ссылок на страницу, ссылок на превью, а также типов изображений
    • SE::Yandex::Images - добавлен сбор ссылок на превью
  • Улучшена работа SE::AOL, а также увеличено максимальное количество страниц в настройках
  • Улучшена работа SE::Ask, а также добавлена возможность парсить связанные ключевые слова
  • JS парсеры: оптимизирован вызов конструктора и init()
  • JS парсеры: добавлена поддержка async init()

Исправления в связи с изменениями в выдаче

Исправления

  • Исправлена утечка памяти при большом количестве попыток
  • Исправлена ошибка, при которой в Тестовом парсинге при работе с некоторыми ссылками не завершался запрос
  • Исправлен парсинг различных параметров в Net::Whois
  • Исправлено отображение русского языка (проблема появилась в предыдущей версии)
  • Исправлено зависание при работе SE::Yandex::Images с антигейтом
  • JS парсеры: исправлена работа check_content
  • JS парсеры: исправлена работа с сессиями (проблема появилась в одной из предыдущих версий)
A-Parser Support
На сайте с 02.06.2013
Offline
65
#386

Видео урок: Массовое добавление товаров в OpenCart, часть 2

Это вторая часть из цикла видео уроков о парсинге товаров из стороннего сайта и заливке их на собственный сайт на базе OpenCart через API.

В этом уроке показано:

  • краткое содержание предыдущей части
  • запуск созданного пресета
  • демонстрация результатов работы

Первая часть: https://a-parser.com/threads/4798/

Статья и готовый пресет опубликованы в нашем Каталоге: https://a-parser.com/resources/302/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser Support
На сайте с 02.06.2013
Offline
65
#387

iskrakovrov
На сайте с 17.12.2015
Offline
92
#388

Совершенно неуважительный к клиентам, и к другим разработчикам пост.

Не участие в "Черной пятнице" - это ваше личное дело.

И продают со скидкой НЕ НЕЛИКВИД, а продукт ровно такой же как и он есть, только со скидкой.

То что вы не делаете скидок - это обозначает лишь одно - что вы не продали в этот день несколько лицензий и не повесили несколько человек на абонентку. Не более. И это ваше личное дело.

А кто-то продал и получил новых клиентов. И так же развивают продукты свои. А не "сбагривают". Уважайте окружающих, господа.

А так нишевые продукты кому надо и со скидкой и без купят. Раньше или позднее. Пор необходимости. Но вот это - если скидка, то продукт говно - коробит. Одни д`Артаньяны.

Мощный софт для работы c Facebook (/ru/forum/985394). Группы Facebook целевые от 500 000 человек. Консультации. Скайп и телеграм iskrakovrov
Forbidden
На сайте с 06.10.2007
Offline
107
#389
iskrakovrov:
Не участие в "Черной пятнице" - это ваше личное дело.

cпасибо что отметились в нашем топике и обсуждаете наше личное дело :) цель то ясна как на ладони, засветить вашу подпись, впрочем мне не жалко ))

A-Parser - парсер для профессионалов SEO (/ru/forum/720568) SpySerp.com - бесплатный сервис отслеживания позиций (/ru/forum/944804)
iskrakovrov
На сайте с 17.12.2015
Offline
92
#390

Совершенно нет. Цель иная. Ровно та, что написана в посте.

Именно вот об "сбагривают неликвид". Не более.

Это не умоляет качества вашего продукта, который ну один из лучших, если не лучший. Но речь именно про вот этот ваш пост, не делающий вам чести.

Извините если задел. Ушел из топика.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий