Да как писали выше, можно и мультикурл заюзать, всё зависит от задачи, что именно нужно делать.
Также чтобы экономить память, можно делить задачи, одни боты тупо скачивают данные, другие обрабатывают, друг другу не мешают и в случаи чего не нужно перезапускать всё заново т.к. забыли что-то спарсить.
1. настройка сервера на такое количество запросов
2. знать, что лимит у ДЦ есть также, для защиты от ДДОС, у меня например успешно делается лишь 3000 запросов за 1 раз
3. Сама структура ботов
Таблица id|url|status
Бот берёт любой RAND() из таблицы со статусом 0
Скачивает страниц или что там надо делать, после успешной операции ставит записывает 1 в статус.
4. Количество запущенных ботов регулируется сколько надо
Дальше уже оптимизация, можно не долбить БД каждый раз, а при запуске узнать сколько осталось и распределить ID по количеству ботов, чтобы они не пересекались.
Дальше тонкие настройки, сколько памяти всё это добро потребляет, справляется ли диск с записью данных и канал и т.д.
Но если видно, что это аномалия, не может 40 человек по 100 раз заходить на сайт и что-то там по 20 минут делать)) какие-то опции же должны быть..
Это как в суде. Видеть могут все, а доказать свою точку зрения очень немногие. Тут даже не возможно взять какую-то экспертизу, чтобы разобраться. Вас ставят перед фактом и всё.
Просто все хотят кушать, Яндексу надо показывать стабильный рост инвесторам, когда экономика в мире в полной жопе, а уж про РФ подавно.
При чём тут SEO?! Сначала расскажите нам для чего вообще у вас карта на сайте?
Если в футере на постоянку, тогда переводим код в iframe конструтор и стандартный lazyload от браузера
Если она только в контактах, вообще не трогаем
Если она нужна для заказов, тогда оставляем и загружаем её только там, где будет заказ
я то думал вопрос про программирование, а оказывается надо просто сделать минификацию кода через автоматический сервис!
Посмотри в сторону: https://learn.javascript.ru/switch
Чтобы не юзать эти ifelse
но как-то громоздко получилось, может можно короче как-то?
Я бы за всю Одессу бы не говорил. 😀
Все хороши, когда всё хорошо. Стоит упасть, сразу все вопить начинают.
Чем бегет не устроил?
Его фантастический, как они сами пишет, CP
CP — это абстрактная величина характеризующая количество процессорного времени потраченного процессорами на обработку процессов пользователей, получаемая стандартными средствами ядра linux.
Когда даже на VIP тарифах обычные интернет-магазин оптимизированный может легко выходить за эти виртуальные CP. А когда берёшь VDS за эти же деньги у других, ВДРУГ оказывается, что всё летает и нагрузки нет.
Деньги платятся реальные, а мощностя вы покупаете абстрактные.
Прогресс есть но таймвеб в разы лучше и дешевле при тех же характеристиках что и в рег.ру там тоже есть у меня пару сайтов.
давайте ещё про бегет вспомните, самое дно рынка 🤣
