Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 23.04.2018, 12:30   #21
danforth
Программист
 
Аватар для danforth
 
Регистрация: 18.12.2015
Адрес: Одесса
Сообщений: 959
Репутация: 150409

ТопикСтартер Re: Многопоточный парсинг, программирование - качественный подход

Друзья, запустил свой сайт quasar.cc, сделанный на Vue.js + бекенд. Это что-то вроде небольшого примерчика, чтобы пользователи видели что примерно я могу делать. К слову, это SPA и я собираюсь проверить, как он индексируется гуглом.

На данный момент заказы в работу не беру, потому что веду два проекта, но через пару недель появится свободное время.

Для тех, кому не срочно, освежу список того, что я делаю:
  1. Интернет-магазины, сайты, блоги - в приоритете.
  2. Парсеры
  3. Автоматизация рутины

Если у вас есть интересная работа, и вы хотите получить качественный результат - обращайтесь, буду рад. Актуальные контакты в первом посте на первой странице.
__________________
Разработка: Go, PHP, SQL, JavaScript, HTML/CSS. Мой сайт.
danforth вне форума   Ответить с цитированием

Реклама
Старый 21.06.2018, 21:13   #22
danforth
Программист
 
Аватар для danforth
 
Регистрация: 18.12.2015
Адрес: Одесса
Сообщений: 959
Репутация: 150409

ТопикСтартер Re: Многопоточный парсинг, программирование - качественный подход

Всем привет!

Могу взять в работу парсинг, или что-то небольшое.

Актуальные контакты:
Telegram: heavycharged
Mail: danforth@live.ru

Скайп больше не использую.
danforth вне форума   Ответить с цитированием
Старый 06.07.2018, 11:37   #23
Baaa
We got a winner
 
Аватар для Baaa
 
Регистрация: 31.08.2006
Адрес: in da Moscow
Сообщений: 79
Репутация: 6714

По умолчанию Re: Многопоточный парсинг, программирование - качественный подход

ТС написал для меня уже три парсера. Ответственно подходит к выполнению задач. Вносит правки в работу и всегда на связи. Однозначно рекомендую!
__________________
Я думаю, значит я существую...муравьи не думают, значит не существуют
Baaa вне форума   Ответить с цитированием
Старый 01.08.2018, 20:19   #24
Carl
Кандидат наук
 
Регистрация: 18.07.2010
Сообщений: 353
Репутация: 38846

По умолчанию Re: Многопоточный парсинг, программирование - качественный подход

Интересует задача по парсингу из магазина в магазин. Отписал в скайп.
Carl вне форума   Ответить с цитированием
Старый 16.10.2018, 20:33   #25
danforth
Программист
 
Аватар для danforth
 
Регистрация: 18.12.2015
Адрес: Одесса
Сообщений: 959
Репутация: 150409

ТопикСтартер Re: Многопоточный парсинг, программирование - качественный подход

Освежим тему.

Что делаю:
  • простые веб-сайты/блоги
  • интернет-магазины
  • крупные сайты/порталы
  • проектирую базы данных для быстрого доступа и эффективного хранения данных
  • верстку делает мой коллега под моим наставничеством

Используемый стек:
  • Go - компилируемый язык от Google, очень эффективный
  • PostgreSQL/MySQL - в качестве RDBS
  • Redis/Tarantool/Aerospike - в качестве K/V хранилищ и для быстрого доступа
  • ClickHouse - для аналитики
  • ELK (Elastic/Logstash/Kibana) - для поиска и аналитики
  • Vue.js - для фронтенда
  • Nginx - HTTP и прокси-сервер

Что интересно: люблю нестандартные проекты, люблю использовать всю мощь современных технологий.

Что не интересно: сайты на CMS с костылями, старые сайты с legacy кодом, где изменив одну строчку кода все падает. Не интересны срочные проекты и проекты с плавающим или отсутствующим четким ТЗ.

Появился один из проектов, который можно показать для портфолио. Если вкратце, задача состояла в том, чтобы написать парсер/crawler, который будет ходить по указанным ссылкам и проверять наличие на них определенного содержимого. Важно чтобы на странице обрабатывались все JS скрипты. По результатам должен генерироваться удобный отчет.

Реализовал на Go + MySQL + Vue.js. Сам парсер работает на Go, используя при этом открытый Google Chrome в 5 вкладок (можно увеличить/уменьшать через конфиг). После окончания работы Chrome закрывается. Все задачи имеют механизм оповещения прогресса: все юзеры авторизованные в бекенде будут видеть если какая-либо из задач запущена и сколько уже обработано ссылок, не важно кто запустил задачу, закрыл он браузер или что-либо ещё. Все пользователи будут видеть прогресс, они могут выйти из аккаунта, прийти через пол часа, и будут видеть прогресс выполнения. Если задача уже запущена, её нельзя запустить ещё раз. Нужно сначала остановить. Количество одновременно выполняемых задач не ограничено. По финалу генерируется отчет, можно просматривать несколько последних проверок.
Все это сопровождается удобным интерфейсом, по которому можно делать быстрый поиск, все работает быстро и без перезагрузок, с красивой анимацией.


В общем-то, лучше один раз увидеть, чем сто раз услышать, вот видео:

danforth вне форума   Ответить с цитированием
Старый 24.10.2018, 19:51   #26
-=Player=-
Просто Я
 
Аватар для -=Player=-
 
Регистрация: 13.05.2009
Сообщений: 1,562
Репутация: 341500

По умолчанию Re: Многопоточный парсинг, программирование - качественный подход

Выйди на связь в скайп, пожалуйста. Не могу достучаться, нужно сайт доделать
-=Player=- вне форума   Ответить с цитированием
Старый 24.10.2018, 20:36   #27
danforth
Программист
 
Аватар для danforth
 
Регистрация: 18.12.2015
Адрес: Одесса
Сообщений: 959
Репутация: 150409

ТопикСтартер

Цитата:
Сообщение от -=Player=- Посмотреть сообщение
Выйди на связь в скайп, пожалуйста. Не могу достучаться, нужно сайт доделать
Скайп не работает, захожу туда очень редко и через вебморду, можете на почту написать или лучше в телеграм? Контакты есть в этом топике.
danforth вне форума   Ответить с цитированием
Старый 02.12.2018, 17:24   #28
Shonni
@shonni
 
Регистрация: 19.06.2009
Сообщений: 956
Репутация: 178717

По умолчанию Re: Многопоточный парсинг, программирование - качественный подход

Вадим быстренько решил мою задачу. Всегда в онлайне, оперативно отвечает, помогает. Спасибо Рекомендую!
__________________
Миллиарды ключей по Вашей тематике. Настройка/видение YD/GA Обучение
Коммерческие доры на заказ. Обучение
Перехватываю домены ТУТ.
Shonni вне форума   Ответить с цитированием
Ответ

Метки
php , парсинг , программирование , разработка




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 14:57. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны