Многопоточный парсинг, программирование - качественный подход

Всем привет!

Могу взять в работу парсинг, или что-то небольшое.

Актуальные контакты:

Telegram: heavycharged

Mail: danforth@live.ru

Скайп больше не использую.

ТС написал для меня уже три парсера. Ответственно подходит к выполнению задач. Вносит правки в работу и всегда на связи. Однозначно рекомендую!

Интересует задача по парсингу из магазина в магазин. Отписал в скайп.

Освежим тему.

Что делаю:

• простые веб-сайты/блоги
• интернет-магазины
• крупные сайты/порталы
• проектирую базы данных для быстрого доступа и эффективного хранения данных
• верстку делает мой коллега под моим наставничеством

Используемый стек:

• Go - компилируемый язык от Google, очень эффективный
• PostgreSQL/MySQL - в качестве RDBS
• Redis/Tarantool/Aerospike - в качестве K/V хранилищ и для быстрого доступа
• ClickHouse - для аналитики
• ELK (Elastic/Logstash/Kibana) - для поиска и аналитики
• Vue.js - для фронтенда
• Nginx - HTTP и прокси-сервер

Что интересно: люблю нестандартные проекты, люблю использовать всю мощь современных технологий.

Что не интересно: сайты на CMS с костылями, старые сайты с legacy кодом, где изменив одну строчку кода все падает. Не интересны срочные проекты и проекты с плавающим или отсутствующим четким ТЗ.

Появился один из проектов, который можно показать для портфолио. Если вкратце, задача состояла в том, чтобы написать парсер/crawler, который будет ходить по указанным ссылкам и проверять наличие на них определенного содержимого. Важно чтобы на странице обрабатывались все JS скрипты. По результатам должен генерироваться удобный отчет.

Реализовал на Go + MySQL + Vue.js. Сам парсер работает на Go, используя при этом открытый Google Chrome в 5 вкладок (можно увеличить/уменьшать через конфиг). После окончания работы Chrome закрывается. Все задачи имеют механизм оповещения прогресса: все юзеры авторизованные в бекенде будут видеть если какая-либо из задач запущена и сколько уже обработано ссылок, не важно кто запустил задачу, закрыл он браузер или что-либо ещё. Все пользователи будут видеть прогресс, они могут выйти из аккаунта, прийти через пол часа, и будут видеть прогресс выполнения. Если задача уже запущена, её нельзя запустить ещё раз. Нужно сначала остановить. Количество одновременно выполняемых задач не ограничено. По финалу генерируется отчет, можно просматривать несколько последних проверок.

Все это сопровождается удобным интерфейсом, по которому можно делать быстрый поиск, все работает быстро и без перезагрузок, с красивой анимацией.

В общем-то, лучше один раз увидеть, чем сто раз услышать, вот видео:

Выйди на связь в скайп, пожалуйста. Не могу достучаться, нужно сайт доделать :)

Скайп не работает, захожу туда очень редко и через вебморду, можете на почту написать или лучше в телеграм? Контакты есть в этом топике.

Вадим быстренько решил мою задачу. Всегда в онлайне, оперативно отвечает, помогает. Спасибо :) Рекомендую!