Я думаю тут нужно уточнение, что именно не хватает.
Да как писали выше, можно и мультикурл заюзать, всё зависит от задачи, что именно нужно делать.
Также чтобы экономить память, можно делить задачи, одни боты тупо скачивают данные, другие обрабатывают, друг другу не мешают и в случаи чего не нужно перезапускать всё заново т.к. забыли что-то спарсить.
1. настройка сервера на такое количество запросов
2. знать, что лимит у ДЦ есть также, для защиты от ДДОС, у меня например успешно делается лишь 3000 запросов за 1 раз
3. Сама структура ботов
Таблица id|url|status
Бот берёт любой RAND() из таблицы со статусом 0
Скачивает страниц или что там надо делать, после успешной операции ставит записывает 1 в статус.
4. Количество запущенных ботов регулируется сколько надо
Дальше уже оптимизация, можно не долбить БД каждый раз, а при запуске узнать сколько осталось и распределить ID по количеству ботов, чтобы они не пересекались.
Дальше тонкие настройки, сколько памяти всё это добро потребляет, справляется ли диск с записью данных и канал и т.д.
Но если видно, что это аномалия, не может 40 человек по 100 раз заходить на сайт и что-то там по 20 минут делать)) какие-то опции же должны быть..
Это как в суде. Видеть могут все, а доказать свою точку зрения очень немногие. Тут даже не возможно взять какую-то экспертизу, чтобы разобраться. Вас ставят перед фактом и всё.
Просто все хотят кушать, Яндексу надо показывать стабильный рост инвесторам, когда экономика в мире в полной жопе, а уж про РФ подавно.
При чём тут SEO?! Сначала расскажите нам для чего вообще у вас карта на сайте?
Если в футере на постоянку, тогда переводим код в iframe конструтор и стандартный lazyload от браузера
Если она только в контактах, вообще не трогаем
Если она нужна для заказов, тогда оставляем и загружаем её только там, где будет заказ
я то думал вопрос про программирование, а оказывается надо просто сделать минификацию кода через автоматический сервис!
Посмотри в сторону: https://learn.javascript.ru/switch
Чтобы не юзать эти ifelse
но как-то громоздко получилось, может можно короче как-то?
Я бы за всю Одессу бы не говорил. 😀
