Создать доску объявлений

Не общетематические доски объявлений это не интересно - там нет ничего технически сложного. Сложно технически - общетематические и о недвижимости, сложно организационно - о работе, сложно в плане продвижения - об автомобилях. Остальное не сложно.

А что сложного?

да создать сайт ничего сложного нет. а продвинуть чтобы на него заходило от 10 к и больше это задача. или вы и тут напишите ничего сложного?)

Выше говорили - поиск, рубрики, фильтры. Добавлю гео.

Простой пример, когда пользователю сложно будет найти что то.

Если, не очень большая база, то вполне годно использовать фулл-текст индекс, который есть наверное у всех субд. Я пользуюсь Скулайт и Монго. И там и там хороший прогресс за последние годы. К примеру FTS5 sqlite существенный шаг вперед относительно FTS3.

Монга: 5 мс на поиск фразы "бурильный кран камаз 43118" в тестовой коллекции из 45624 объектов. 2,5 определить кол-во найденных и примерно столько же, чтобы получить записи отсортированные по релевантности, в количестве limit с подсветкой найденных слов.

Но, уже на 500000, скорость существенно уменьшается. Правда, на слабом железе. ES

Ну поиск не сложно сделать. Есть эластик, солр. Там тебе и фасеты и поиск. Настраивать конечно надо. Но это не сложно.

На мой взгляд, сложно будет когда у вас импортируется 400к-500к объявлений из разных источников раз в 4-6 часов и надо корректно обновлять статусы, даты, картинки. Ну или товарный агрегатор вы сделали на 20кк товаров и надо это по SLA раз в 4 часа обновлять.

Гео это решаемо. Если вы на поддоменах, то надо понимать что это отдельные сайты и к вам боты ходят в большом количестве и парсят всё что можно. И Яндексу не скажешь, что надо меньше ходить.

Тем не менее, мало где хороший поиск.

Сложнее для каждой категории определить удобный набор параметров по которым фильтровать. А то чаще

по цене фильтруют. Что даст пользователю сортировка, в результате которой "Защитная маска для лица" будет выше "Газгольдер под ключ в Москве" для меня неясно.

3 млн в сутки? Откуда столько🍿

Ну и, да - вы только дополняете ответ на свой же вопрос

Не 3 млн., а 400к объявлений в фидах надо грузить и обновлять если они обновились (Были отредактированы, изменили, новые или удалились). А вот примерно у каждого 10-15 фото. Грузите хотя бы раз.

Как пример: Медиа Джобс и Джоблаб о работе, доска объявлений Армавира тоже.

Сомневаюсь, все 400к каждые 4 часа изменяются.

И в 1-й раз не обязательно все 400к грузить. Зачем на новой доске столько?

Но, даже если так - задача решаемая.

Эксперимент (железо впс 1гиг, 1ядро) чтобы не быть голословным

16 сек на обновление данных по

Groups:40; Goods:11620; Personal:3; Time/Mem:15434.2420(ms)/mb16----

40 категориям, 11620 товарам, 3 менеджерам. (нестандартный 1с обмен)

400000/10000 = 40 раз по 16 секунд. ~ 11 минут.

По картинкам:

11 files saved, Prepared: 11; tm:9994.9050(ms)----

11 за менее чем 10 сек. Что делается с картинками за это время:

Сначала достаются из filename=import_files.zip

'thumbs' => [
        'xs'         => '200x150', /* thumbs xsmall - phones       (<768px)) */

        'sm'         => '300x200', /* thumbs small - tablet        (≥768px, <992px) */

        'md'         => '400x300', /* thumbs medium - desctop      (≥992px, <1200px) */

        'lg'         => '600x450', /* thumbs large - large-desctop (≥1200px,) */

        'web'        => '800x533'  /*   */

  ],

5 тумбов + оптимизация оригинала и всех производных

switch( $this->type ) {

      case 'jpeg':

      case 'jpg':

        $cmd = 'jpegoptim ' . escapeshellarg($this->src) .' --strip-all --all-progressive -m 76';

      break;

      case 'png':

        $cmd = 'pngquant --strip --quality=65-85 --ext .png  --force 256 ' . escapeshellarg($this->src);

      break;

    }

(Гугла доволен)

Какие картинки в эксперименте

немаленькие, в среднем более 1мб (42 на 49,9Миб)

Что в итоге:

С картинками, да сложнее:

Если 1 в секунду, то если 6 млн / 86400 = ~ 70 суток. Но, тут жесткие условия эксперимента (1гиг, 1ядро). А железо сейчас недорогое..

Но и тут, если оставить 1 превьюшку, то

----progress 11 files saved, Prepared: 11; tm:3382.8290(ms)----

Я в тему только зайти пытаюсь. Присматриваюсь.

Картинко из загрузки:

А какой в этом смысл? Все равно все будут сидеть на авито и юле.