- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
И предложили установить ограничение на количество запросов в минуту (ограничение 200, при 500 нагрузка на проц возрастает до 100%)
Кол-во запросов в минуту? Ничего не путаете?
В настройках скорости обхода значения в секундах.
Кол-во запросов в минуту? Ничего не путаете?
В настройках скорости обхода значения в секундах.
Да нет, вроде все верно, в минутах, но ещё раз гляну
Да нет, вроде все верно, в минутах, но ещё раз гляну
Последние 2 недели от ботов Яндекса приходит такое количество запросов, что сервер падает.
Чтобы сервер не падал, для всех роботов ПС настраиваем ответ сервера last-modified ( гуглим что и как настраивается )
Дата LM должна быть датой создания или модификации страницы
После настройки ответа сервера, скорость обхода можно поставить максимальную
Ждать бесполезно. Ситуация такая, у них не осталось нормальных программистов. Кто, куда разъехались и по каким причинам, думаю понятно.
Можно в ЛС, в этом случае ( бесплатно) пишу что сделать, делаете сами или нанимаете программиста
Чтобы сервер не падал, для всех роботов ПС настраиваем ответ сервера last-modified
Наличие заголовка не снимает нагрузку с сервера, а только уменьшит трафик для клиента/поисковика (который хранит у себя старую версию страницы). А вот кеширование - снимает нагрузку с севера.
Карта сайта решает проблему? Чтобы робот жевал карту а не сайт каждый раз по новой?
Просто карта, без xml разметки снизит не на много нагрузку с сервера. Поисковику важно поддерживать актуальность базы.
Карта xml с датами обновления всех страниц сайта, поможет снять нагрузку с сервера, при условии что поисковик будет считать достаточной эту информацию.
Наличие заголовка не снимает нагрузку с сервера, а только уменьшит трафик для клиента/поисковика (который хранит у себя старую версию страницы). А вот кеширование - снимает нагрузку с севера.
- если без заголовков, роботы ПС обходят весь сайт в тысячи и десятки тысяч страниц
У ТС - скриншот с логами: 100 000 запросов.
- с заголовками, отдаются только изменившиеся и новые страницы: десяток - сотню страниц
Спасибо всем за идеи и сообщения, стараюсь всё проверить в меру своего понимания. После блокировки и ограничений всего и вся, проблема свелась к одному боту (на скрине ниже), теперь явно видно, что сайт падает когда он активизируется, стабильно отправляет на сервер +-600 запросов в минуту. Судя по описанию, он проверяет доступность страниц для директа. Мониторинг сайта был отключен во всех рекламных кампаниях, но бот продолжает приходить и перегружать сервер. В настройках самого вебмастера не нашел никаких опций на эту тему (кроме мониторинга конкретных страниц, там ничего не выбрано). Поддержка пообещала ограничить активность бота (200/минута), но ничего не меняется.
У сайта ~2000 поддоменов. Бот обращается только к главной странице, не понимаю зачем нужно делать 30 000 обращений в час.
Логи:
Описание бота:
Опция мониторинга сайта: