Создать доску объявлений

Solmyr
На сайте с 10.09.2007
Online
492
#101
Wnet1992:
человек из челябинска сделал доску про спец технику

Не общетематические доски объявлений это не интересно - там нет ничего технически сложного. Сложно технически - общетематические и о недвижимости, сложно организационно - о работе, сложно в плане продвижения - об автомобилях. Остальное не сложно.

J
На сайте с 19.08.2014
Offline
43
#102
Solmyr:
Не общетематические доски объявлений это не интересно - там нет ничего технически сложного. Сложно технически - общетематические и о недвижимости, сложно организационно - о работе, сложно в плане продвижения - об автомобилях. Остальное не сложно.

А что сложного?

W1
На сайте с 14.01.2013
Offline
94
#103
Jazi:
А что сложного?

да создать сайт ничего сложного нет. а продвинуть чтобы на него заходило от 10 к и больше это задача. или вы и тут напишите ничего сложного?)

Просто делаю мебель которую хочется обнимать Art-Puf.com.ua (http://art-puf.com.ua/)
T7
На сайте с 19.09.2018
Offline
31
#104
Jazi:
А что сложного?

Выше говорили - поиск, рубрики, фильтры. Добавлю гео.

Простой пример, когда пользователю сложно будет найти что то.

Solmyr:
В начале этого топика я говорил, что проблема "сделать нормальный поиск". Сейчас могу сказать что нормальный поиск можно сделать с помощью elasticsearch. Ну а если нужно не очень нормальный, а средненький, но очень быстрый - то sphinx.

Если, не очень большая база, то вполне годно использовать фулл-текст индекс, который есть наверное у всех субд. Я пользуюсь Скулайт и Монго. И там и там хороший прогресс за последние годы. К примеру FTS5 sqlite существенный шаг вперед относительно FTS3.

Монга: 5 мс на поиск фразы "бурильный кран камаз 43118" в тестовой коллекции из 45624 объектов. 2,5 определить кол-во найденных и примерно столько же, чтобы получить записи отсортированные по релевантности, в количестве limit с подсветкой найденных слов.

Но, уже на 500000, скорость существенно уменьшается. Правда, на слабом железе. ES

J
На сайте с 19.08.2014
Offline
43
#105
timo-71:
Выше говорили - поиск, рубрики, фильтры. Добавлю гео.

Ну поиск не сложно сделать. Есть эластик, солр. Там тебе и фасеты и поиск. Настраивать конечно надо. Но это не сложно.

На мой взгляд, сложно будет когда у вас импортируется 400к-500к объявлений из разных источников раз в 4-6 часов и надо корректно обновлять статусы, даты, картинки. Ну или товарный агрегатор вы сделали на 20кк товаров и надо это по SLA раз в 4 часа обновлять.

Гео это решаемо. Если вы на поддоменах, то надо понимать что это отдельные сайты и к вам боты ходят в большом количестве и парсят всё что можно. И Яндексу не скажешь, что надо меньше ходить.

T7
На сайте с 19.09.2018
Offline
31
#106
Jazi:
Ну поиск не сложно сделать

Тем не менее, мало где хороший поиск.

Jazi:
фасеты

Сложнее для каждой категории определить удобный набор параметров по которым фильтровать. А то чаще


Защитная маска для лица 18 ₽
ремонтные работы и декоративная штукатурка 10 ₽
Газгольдер под ключ в Москве и Московской области 90 000 ₽
Ремонт квартир в Москве 4 500 ₽

по цене фильтруют. Что даст пользователю сортировка, в результате которой "Защитная маска для лица" будет выше "Газгольдер под ключ в Москве" для меня неясно.

Jazi:
На мой взгляд, сложно будет когда у вас импортируется 400к-500к объявлений из разных источников раз в 4-6 часов

3 млн в сутки? Откуда столько🍿

Ну и, да - вы только дополняете ответ на свой же вопрос

Jazi:
А что сложного?
J
На сайте с 19.08.2014
Offline
43
#107
timo-71:
3 млн в сутки? Откуда столько🍿

Ну и, да - вы только дополняете ответ на свой же вопрос

Не 3 млн., а 400к объявлений в фидах надо грузить и обновлять если они обновились (Были отредактированы, изменили, новые или удалились). А вот примерно у каждого 10-15 фото. Грузите хотя бы раз.

O8
На сайте с 11.07.2016
Offline
36
#108
Wnet1992:
интересно обсуждать не олх или авито. Это небожители. Интересно когда человек из челябинска сделал доску про спец технику например и зарабатывает на ней это интересно. 🍻🍻🍻

Как пример: Медиа Джобс и Джоблаб о работе, доска объявлений Армавира тоже.

T7
На сайте с 19.09.2018
Offline
31
#109
Jazi:
Не 3 млн., а 400к объявлений в фидах надо грузить и обновлять если они обновились

Сомневаюсь, все 400к каждые 4 часа изменяются.

Jazi:
Грузите хотя бы раз

И в 1-й раз не обязательно все 400к грузить. Зачем на новой доске столько?

Но, даже если так - задача решаемая.

Эксперимент (железо впс 1гиг, 1ядро) чтобы не быть голословным

16 сек на обновление данных по

Groups:40; Goods:11620; Personal:3; Time/Mem:15434.2420(ms)/mb16----

40 категориям, 11620 товарам, 3 менеджерам. (нестандартный 1с обмен)

400000/10000 = 40 раз по 16 секунд. ~ 11 минут.

По картинкам:

11 files saved, Prepared: 11; tm:9994.9050(ms)----

11 за менее чем 10 сек. Что делается с картинками за это время:

Сначала достаются из filename=import_files.zip

'thumbs' => [
        'xs'         => '200x150', /* thumbs xsmall - phones       (<768px)) */

'sm' => '300x200', /* thumbs small - tablet (≥768px, <992px) */
'md' => '400x300', /* thumbs medium - desctop (≥992px, <1200px) */
'lg' => '600x450', /* thumbs large - large-desctop (≥1200px,) */
'web' => '800x533' /* */
],

5 тумбов + оптимизация оригинала и всех производных

switch( $this->type ) {

case 'jpeg':
case 'jpg':
$cmd = 'jpegoptim ' . escapeshellarg($this->src) .' --strip-all --all-progressive -m 76';
break;
case 'png':
$cmd = 'pngquant --strip --quality=65-85 --ext .png --force 256 ' . escapeshellarg($this->src);
break;
}

(Гугла доволен)

Какие картинки в эксперименте

немаленькие, в среднем более 1мб (42 на 49,9Миб)

Что в итоге:

С картинками, да сложнее:

Если 1 в секунду, то если 6 млн / 86400 = ~ 70 суток. Но, тут жесткие условия эксперимента (1гиг, 1ядро). А железо сейчас недорогое..

Но и тут, если оставить 1 превьюшку, то

----progress 11 files saved, Prepared: 11; tm:3382.8290(ms)----

в 3 раза меньше времени надо. А если железа добавить и pthreads, то ☝

Я в тему только зайти пытаюсь. Присматриваюсь.

Картинко из загрузки:

jpg 20150416_145641.300x200.jpg
LS
На сайте с 17.09.2017
Offline
25
#110

А какой в этом смысл? Все равно все будут сидеть на авито и юле.

Бесплатные ссылки (/ru/forum/975026)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий