Многопоточный парсинг, программирование - качественный подход - Страница 3 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 23.04.2018, 12:30   #21
danforth
Программист
 
Аватар для danforth
 
Регистрация: 18.12.2015
Адрес: Одесса
Сообщений: 958
Репутация: 150409

ТопикСтартер Re: Многопоточный парсинг, программирование - качественный подход

Друзья, запустил свой сайт quasar.cc, сделанный на Vue.js + бекенд. Это что-то вроде небольшого примерчика, чтобы пользователи видели что примерно я могу делать. К слову, это SPA и я собираюсь проверить, как он индексируется гуглом.

На данный момент заказы в работу не беру, потому что веду два проекта, но через пару недель появится свободное время.

Для тех, кому не срочно, освежу список того, что я делаю:
  1. Интернет-магазины, сайты, блоги - в приоритете.
  2. Парсеры
  3. Автоматизация рутины

Если у вас есть интересная работа, и вы хотите получить качественный результат - обращайтесь, буду рад. Актуальные контакты в первом посте на первой странице.
__________________
Разработка: Go, PHP, SQL, JavaScript, HTML/CSS. Мой сайт.
danforth вне форума   Ответить с цитированием

Реклама
Старый 21.06.2018, 21:13   #22
danforth
Программист
 
Аватар для danforth
 
Регистрация: 18.12.2015
Адрес: Одесса
Сообщений: 958
Репутация: 150409

ТопикСтартер Re: Многопоточный парсинг, программирование - качественный подход

Всем привет!

Могу взять в работу парсинг, или что-то небольшое.

Актуальные контакты:
Telegram: heavycharged
Mail: danforth@live.ru

Скайп больше не использую.
danforth вне форума   Ответить с цитированием
Старый 06.07.2018, 11:37   #23
Baaa
We got a winner
 
Аватар для Baaa
 
Регистрация: 31.08.2006
Адрес: in da Moscow
Сообщений: 79
Репутация: 6714

По умолчанию Re: Многопоточный парсинг, программирование - качественный подход

ТС написал для меня уже три парсера. Ответственно подходит к выполнению задач. Вносит правки в работу и всегда на связи. Однозначно рекомендую!
__________________
Я думаю, значит я существую...муравьи не думают, значит не существуют
Baaa вне форума   Ответить с цитированием
Старый 01.08.2018, 20:19   #24
Carl
Кандидат наук
 
Регистрация: 18.07.2010
Сообщений: 354
Репутация: 39121

По умолчанию Re: Многопоточный парсинг, программирование - качественный подход

Интересует задача по парсингу из магазина в магазин. Отписал в скайп.
__________________
Легальный европейский пул по Telegram ICO. Собрано свыше 200.000 долларов - купи будущий токен со скидкой.
Carl вне форума   Ответить с цитированием
Старый 16.10.2018, 20:33   #25
danforth
Программист
 
Аватар для danforth
 
Регистрация: 18.12.2015
Адрес: Одесса
Сообщений: 958
Репутация: 150409

ТопикСтартер Re: Многопоточный парсинг, программирование - качественный подход

Освежим тему.

Что делаю:
  • простые веб-сайты/блоги
  • интернет-магазины
  • крупные сайты/порталы
  • проектирую базы данных для быстрого доступа и эффективного хранения данных
  • верстку делает мой коллега под моим наставничеством

Используемый стек:
  • Go - компилируемый язык от Google, очень эффективный
  • PostgreSQL/MySQL - в качестве RDBS
  • Redis/Tarantool/Aerospike - в качестве K/V хранилищ и для быстрого доступа
  • ClickHouse - для аналитики
  • ELK (Elastic/Logstash/Kibana) - для поиска и аналитики
  • Vue.js - для фронтенда
  • Nginx - HTTP и прокси-сервер

Что интересно: люблю нестандартные проекты, люблю использовать всю мощь современных технологий.

Что не интересно: сайты на CMS с костылями, старые сайты с legacy кодом, где изменив одну строчку кода все падает. Не интересны срочные проекты и проекты с плавающим или отсутствующим четким ТЗ.

Появился один из проектов, который можно показать для портфолио. Если вкратце, задача состояла в том, чтобы написать парсер/crawler, который будет ходить по указанным ссылкам и проверять наличие на них определенного содержимого. Важно чтобы на странице обрабатывались все JS скрипты. По результатам должен генерироваться удобный отчет.

Реализовал на Go + MySQL + Vue.js. Сам парсер работает на Go, используя при этом открытый Google Chrome в 5 вкладок (можно увеличить/уменьшать через конфиг). После окончания работы Chrome закрывается. Все задачи имеют механизм оповещения прогресса: все юзеры авторизованные в бекенде будут видеть если какая-либо из задач запущена и сколько уже обработано ссылок, не важно кто запустил задачу, закрыл он браузер или что-либо ещё. Все пользователи будут видеть прогресс, они могут выйти из аккаунта, прийти через пол часа, и будут видеть прогресс выполнения. Если задача уже запущена, её нельзя запустить ещё раз. Нужно сначала остановить. Количество одновременно выполняемых задач не ограничено. По финалу генерируется отчет, можно просматривать несколько последних проверок.
Все это сопровождается удобным интерфейсом, по которому можно делать быстрый поиск, все работает быстро и без перезагрузок, с красивой анимацией.


В общем-то, лучше один раз увидеть, чем сто раз услышать, вот видео:

danforth вне форума   Ответить с цитированием
Ответ

Метки
php , парсинг , программирование , разработка




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 15:39. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны