Многопоточный парсинг, программирование - качественный подход

1 23
danforth
На сайте с 18.12.2015
Offline
153
#21

Всем привет!

Могу взять в работу парсинг, или что-то небольшое.

Актуальные контакты:

Telegram: heavycharged

Mail: danforth@live.ru

Скайп больше не использую.

Junior Web Developer
Baaa
На сайте с 31.08.2006
Offline
92
#22

ТС написал для меня уже три парсера. Ответственно подходит к выполнению задач. Вносит правки в работу и всегда на связи. Однозначно рекомендую!

Я думаю, значит я существую...муравьи не думают, значит не существуют
C
На сайте с 18.07.2010
Offline
80
#23

Интересует задача по парсингу из магазина в магазин. Отписал в скайп.

danforth
На сайте с 18.12.2015
Offline
153
#24

Освежим тему.

Что делаю:

  • простые веб-сайты/блоги
  • интернет-магазины
  • крупные сайты/порталы
  • проектирую базы данных для быстрого доступа и эффективного хранения данных
  • верстку делает мой коллега под моим наставничеством

Используемый стек:

  • Go - компилируемый язык от Google, очень эффективный
  • PostgreSQL/MySQL - в качестве RDBS
  • Redis/Tarantool/Aerospike - в качестве K/V хранилищ и для быстрого доступа
  • ClickHouse - для аналитики
  • ELK (Elastic/Logstash/Kibana) - для поиска и аналитики
  • Vue.js - для фронтенда
  • Nginx - HTTP и прокси-сервер

Что интересно: люблю нестандартные проекты, люблю использовать всю мощь современных технологий.

Что не интересно: сайты на CMS с костылями, старые сайты с legacy кодом, где изменив одну строчку кода все падает. Не интересны срочные проекты и проекты с плавающим или отсутствующим четким ТЗ.

Появился один из проектов, который можно показать для портфолио. Если вкратце, задача состояла в том, чтобы написать парсер/crawler, который будет ходить по указанным ссылкам и проверять наличие на них определенного содержимого. Важно чтобы на странице обрабатывались все JS скрипты. По результатам должен генерироваться удобный отчет.

Реализовал на Go + MySQL + Vue.js. Сам парсер работает на Go, используя при этом открытый Google Chrome в 5 вкладок (можно увеличить/уменьшать через конфиг). После окончания работы Chrome закрывается. Все задачи имеют механизм оповещения прогресса: все юзеры авторизованные в бекенде будут видеть если какая-либо из задач запущена и сколько уже обработано ссылок, не важно кто запустил задачу, закрыл он браузер или что-либо ещё. Все пользователи будут видеть прогресс, они могут выйти из аккаунта, прийти через пол часа, и будут видеть прогресс выполнения. Если задача уже запущена, её нельзя запустить ещё раз. Нужно сначала остановить. Количество одновременно выполняемых задач не ограничено. По финалу генерируется отчет, можно просматривать несколько последних проверок.

Все это сопровождается удобным интерфейсом, по которому можно делать быстрый поиск, все работает быстро и без перезагрузок, с красивой анимацией.

В общем-то, лучше один раз увидеть, чем сто раз услышать, вот видео:

-=Player=-
На сайте с 13.05.2009
Offline
172
#25

Выйди на связь в скайп, пожалуйста. Не могу достучаться, нужно сайт доделать :)

Эффективная реклама сайта в сети! (/ru/forum/865896)
danforth
На сайте с 18.12.2015
Offline
153
#26
-=Player=-:
Выйди на связь в скайп, пожалуйста. Не могу достучаться, нужно сайт доделать :)

Скайп не работает, захожу туда очень редко и через вебморду, можете на почту написать или лучше в телеграм? Контакты есть в этом топике.

S
На сайте с 19.06.2009
Offline
125
#27

Вадим быстренько решил мою задачу. Всегда в онлайне, оперативно отвечает, помогает. Спасибо :) Рекомендую!

Аудит и продвижение сайтов. Настройка/видение YD/GA Обучение Миллиарды ключей по Вашей тематике. Коммерческие доры на заказ. Обучение. Перехватываю домены ТУТ (https://goo.gl/njPaFq).
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий