И вновь понедельник и вновь новый праздник!
Сегодня "День трудоголиков"! В связи с этим с 05.07.2021 по 12.07.2021 включительно действует скидка в 30% на все сайты посвящённые труду, заработку и трудоустройству!
Классический говно код. Такого я давно не видел.
Каждый раз при добавлении новых сроков, которых не было в списке с клиентам брались деньги.
Пришлось закрыт кормушку.
Забудьте о всех этих статьях.
Блокировка домена, не важно всего или страницы = новый домен и 301 редирект на него. Всё, больше никаких советов нет.
Я поставил ее на виртуальной машине, посмотрел, думаю врятли там что-то кардинальное будет. Самое интересное, что ПО по проверке совместимости говорило мне, что установка не получиться:)))
Кардинального ничего там и не будет т.к. это винда, там должно быть всё понятно на базе старого опыта, в этом суть.
Нет уже никакого ПО по совместимости, МС сказали, что оно глючное и удалили страницу с ним.
Я думаю тут нужно уточнение, что именно не хватает.
Да как писали выше, можно и мультикурл заюзать, всё зависит от задачи, что именно нужно делать.
Также чтобы экономить память, можно делить задачи, одни боты тупо скачивают данные, другие обрабатывают, друг другу не мешают и в случаи чего не нужно перезапускать всё заново т.к. забыли что-то спарсить.
1. настройка сервера на такое количество запросов
2. знать, что лимит у ДЦ есть также, для защиты от ДДОС, у меня например успешно делается лишь 3000 запросов за 1 раз
3. Сама структура ботов
Таблица id|url|status
Бот берёт любой RAND() из таблицы со статусом 0
Скачивает страниц или что там надо делать, после успешной операции ставит записывает 1 в статус.
4. Количество запущенных ботов регулируется сколько надо
Дальше уже оптимизация, можно не долбить БД каждый раз, а при запуске узнать сколько осталось и распределить ID по количеству ботов, чтобы они не пересекались.
Дальше тонкие настройки, сколько памяти всё это добро потребляет, справляется ли диск с записью данных и канал и т.д.
