Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 20.05.2020, 17:02   #101
Wnet1992
Кандидат наук
 
Регистрация: 15.01.2013
Сообщений: 399
Репутация: -24972

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от jazek Посмотреть сообщение
Вроде как даже в шапке указаны самые топовые, или этого мало?
интересно обсуждать не олх или авито. Это небожители. Интересно когда человек из челябинска сделал доску про спец технику например и зарабатывает на ней это интересно.
__________________
Просто делаю мебель которую хочется обнимать Art-Puf.com.ua
Wnet1992 вне форума   Ответить с цитированием

Реклама
Старый 20.05.2020, 17:47   #102
Solmyr
Академик
 
Аватар для Solmyr
 
Регистрация: 10.09.2007
Сообщений: 5,863
Репутация: 688061

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от Wnet1992 Посмотреть сообщение
человек из челябинска сделал доску про спец технику
Не общетематические доски объявлений это не интересно - там нет ничего технически сложного. Сложно технически - общетематические и о недвижимости, сложно организационно - о работе, сложно в плане продвижения - об автомобилях. Остальное не сложно.
Solmyr вне форума   Ответить с цитированием
Старый 21.05.2020, 01:25   #103
Jazi
Студент
 
Регистрация: 20.08.2014
Сообщений: 14
Репутация: 10

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от Solmyr Посмотреть сообщение
Не общетематические доски объявлений это не интересно - там нет ничего технически сложного. Сложно технически - общетематические и о недвижимости, сложно организационно - о работе, сложно в плане продвижения - об автомобилях. Остальное не сложно.
А что сложного?
Jazi вне форума   Ответить с цитированием
Старый 21.05.2020, 13:31   #104
Wnet1992
Кандидат наук
 
Регистрация: 15.01.2013
Сообщений: 399
Репутация: -24972

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от Jazi Посмотреть сообщение
А что сложного?
да создать сайт ничего сложного нет. а продвинуть чтобы на него заходило от 10 к и больше это задача. или вы и тут напишите ничего сложного?)
Wnet1992 вне форума   Ответить с цитированием
Старый 21.05.2020, 15:24   #105
timo-71
Аспирант
 
Регистрация: 19.09.2018
Сообщений: 237
Репутация: 64470

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от Jazi Посмотреть сообщение
А что сложного?
Выше говорили - поиск, рубрики, фильтры. Добавлю гео.


Простой пример, когда пользователю сложно будет найти что то.

Цитата:
Сообщение от Solmyr Посмотреть сообщение
В начале этого топика я говорил, что проблема "сделать нормальный поиск". Сейчас могу сказать что нормальный поиск можно сделать с помощью elasticsearch. Ну а если нужно не очень нормальный, а средненький, но очень быстрый - то sphinx.
Если, не очень большая база, то вполне годно использовать фулл-текст индекс, который есть наверное у всех субд. Я пользуюсь Скулайт и Монго. И там и там хороший прогресс за последние годы. К примеру FTS5 sqlite существенный шаг вперед относительно FTS3.


Монга: 5 мс на поиск фразы "бурильный кран камаз 43118" в тестовой коллекции из 45624 объектов. 2,5 определить кол-во найденных и примерно столько же, чтобы получить записи отсортированные по релевантности, в количестве limit с подсветкой найденных слов.
Но, уже на 500000, скорость существенно уменьшается. Правда, на слабом железе. ES
timo-71 на форуме   Ответить с цитированием
Старый 21.05.2020, 22:47   #106
Jazi
Студент
 
Регистрация: 20.08.2014
Сообщений: 14
Репутация: 10

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от timo-71 Посмотреть сообщение
Выше говорили - поиск, рубрики, фильтры. Добавлю гео.
Ну поиск не сложно сделать. Есть эластик, солр. Там тебе и фасеты и поиск. Настраивать конечно надо. Но это не сложно.

На мой взгляд, сложно будет когда у вас импортируется 400к-500к объявлений из разных источников раз в 4-6 часов и надо корректно обновлять статусы, даты, картинки. Ну или товарный агрегатор вы сделали на 20кк товаров и надо это по SLA раз в 4 часа обновлять.

Гео это решаемо. Если вы на поддоменах, то надо понимать что это отдельные сайты и к вам боты ходят в большом количестве и парсят всё что можно. И Яндексу не скажешь, что надо меньше ходить.
Jazi вне форума   Ответить с цитированием
Старый 22.05.2020, 11:12   #107
timo-71
Аспирант
 
Регистрация: 19.09.2018
Сообщений: 237
Репутация: 64470

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от Jazi Посмотреть сообщение
Ну поиск не сложно сделать
Тем не менее, мало где хороший поиск.
Цитата:
Сообщение от Jazi Посмотреть сообщение
фасеты
Сложнее для каждой категории определить удобный набор параметров по которым фильтровать. А то чаще
Цитата:
Защитная маска для лица 18 ₽
ремонтные работы и декоративная штукатурка 10 ₽
Газгольдер под ключ в Москве и Московской области 90 000 ₽
Ремонт квартир в Москве 4 500 ₽
по цене фильтруют. Что даст пользователю сортировка, в результате которой "Защитная маска для лица" будет выше "Газгольдер под ключ в Москве" для меня неясно.
Цитата:
Сообщение от Jazi Посмотреть сообщение
На мой взгляд, сложно будет когда у вас импортируется 400к-500к объявлений из разных источников раз в 4-6 часов
3 млн в сутки? Откуда столько

Ну и, да - вы только дополняете ответ на свой же вопрос
Цитата:
Сообщение от Jazi Посмотреть сообщение
А что сложного?
timo-71 на форуме   Ответить с цитированием
Старый 22.05.2020, 22:54   #108
Jazi
Студент
 
Регистрация: 20.08.2014
Сообщений: 14
Репутация: 10

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от timo-71 Посмотреть сообщение
3 млн в сутки? Откуда столько

Ну и, да - вы только дополняете ответ на свой же вопрос
Не 3 млн., а 400к объявлений в фидах надо грузить и обновлять если они обновились (Были отредактированы, изменили, новые или удалились). А вот примерно у каждого 10-15 фото. Грузите хотя бы раз.
Jazi вне форума   Ответить с цитированием
Старый 23.05.2020, 17:55   #109
ovi8
Дипломник
 
Регистрация: 11.07.2016
Сообщений: 90
Репутация: -630

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от Wnet1992 Посмотреть сообщение
интересно обсуждать не олх или авито. Это небожители. Интересно когда человек из челябинска сделал доску про спец технику например и зарабатывает на ней это интересно.
Как пример: Медиа Джобс и Джоблаб о работе, доска объявлений Армавира тоже.
ovi8 вне форума   Ответить с цитированием
Старый 24.05.2020, 00:08   #110
timo-71
Аспирант
 
Регистрация: 19.09.2018
Сообщений: 237
Репутация: 64470

По умолчанию Re: Создать доску объявлений

Цитата:
Сообщение от Jazi Посмотреть сообщение
Не 3 млн., а 400к объявлений в фидах надо грузить и обновлять если они обновились
Сомневаюсь, все 400к каждые 4 часа изменяются.
Цитата:
Сообщение от Jazi Посмотреть сообщение
Грузите хотя бы раз
И в 1-й раз не обязательно все 400к грузить. Зачем на новой доске столько?
Но, даже если так - задача решаемая.
Эксперимент (железо впс 1гиг, 1ядро) чтобы не быть голословным

16 сек на обновление данных по
Код:
Groups:40; Goods:11620; Personal:3; Time/Mem:15434.2420(ms)/mb16----
40 категориям, 11620 товарам, 3 менеджерам. (нестандартный 1с обмен)
400000/10000 = 40 раз по 16 секунд. ~ 11 минут.
По картинкам:
Код:
11 files saved, Prepared: 11; tm:9994.9050(ms)----
11 за менее чем 10 сек. Что делается с картинками за это время:
Сначала достаются из filename=import_files.zip
Код:
'thumbs' => [
        'xs'         => '200x150', /* thumbs xsmall - phones       (<768px)) */
        'sm'         => '300x200', /* thumbs small - tablet        (≥768px, <992px) */
        'md'         => '400x300', /* thumbs medium - desctop      (≥992px, <1200px) */
        'lg'         => '600x450', /* thumbs large - large-desctop (≥1200px,) */
        'web'        => '800x533'  /*   */
  ],
5 тумбов + оптимизация оригинала и всех производных
Код:
switch( $this->type ) {
      case 'jpeg':
      case 'jpg':
        $cmd = 'jpegoptim ' . escapeshellarg($this->src) .' --strip-all --all-progressive -m 76';
      break;
      case 'png':
        $cmd = 'pngquant --strip --quality=65-85 --ext .png  --force 256 ' . escapeshellarg($this->src);
      break;
    }
(Гугла доволен)

Какие картинки в эксперименте

немаленькие, в среднем более 1мб (42 на 49,9Миб)

Что в итоге:
С картинками, да сложнее:
Если 1 в секунду, то если 6 млн / 86400 = ~ 70 суток. Но, тут жесткие условия эксперимента (1гиг, 1ядро). А железо сейчас недорогое..
Но и тут, если оставить 1 превьюшку, то
Код:
----progress 11 files saved, Prepared: 11; tm:3382.8290(ms)----
в 3 раза меньше времени надо. А если железа добавить и pthreads, то




Я в тему только зайти пытаюсь. Присматриваюсь.

Картинко из загрузки:
Изображения
 

Последний раз редактировалось timo-71; 24.05.2020 в 00:27..
timo-71 на форуме   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны