- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На сайте впервые за пару месяцев появилась кнопка от хостинга, типа ваш сайт возможно подвергается ddos Атаке.. ну кто кнопку нажал Ок, заходит на сайт, соответственно поисковики нажать не могут, они же роботы, поэтому на сайт не заходят, происходит блокировка.. проверили логи, как оказалось это не ддос, а все поисковые боты..
С хостинга мне пишут- примите меры, но до этого было всегда все ок.. какие меры вообще принять? Crow delay в robots выставлено 10.. может что посоветуете? Возможно кто тоже на timeweb?
Какие именно боты? Если от бинга то в бан.
На сайте впервые за пару месяцев появилась кнопка от хостинга, типа ваш сайт возможно подвергается ddos Атаке.. ну кто кнопку нажал Ок, заходит на сайт, соответственно поисковики нажать не могут, они же роботы, поэтому на сайт не заходят, происходит блокировка.. проверили логи, как оказалось это не ддос, а все поисковые боты..
С хостинга мне пишут- примите меры, но до этого было всегда все ок.. какие меры вообще принять? Crow delay в robots выставлено 10.. может что посоветуете? Возможно кто тоже на timeweb?
Клоудфар ? ☝
На днях только спас одного страдальца таким методом с 800 000 запросами в сутки, правда хостился он на рег ру.
Там эпопея неделю продолжалась, но хостер даже не предупредил, только "Рекомендовал повышать тариф"
Обычно поисковые боты добавляются в белый список, а кнопка скорей всего от модуля testcookie nginx
https://webmaster.yandex.ru/tools/server-response/
Проверьте тут
Вряд ли таймвеб блокирует боты ПС типа Гугля или Яндекса. Но есть ведь куча других ботов, в том числе даже "самодельных". Так что стоит проверить что это за боты и, если они вам не нужны - запретить им доступ в .htaccess по user-agent. А если это боты от Гугля и Яндекса, то ими в некоторой степени можно управлять - задать частоту обхода, таймаут проставить через robots.txt. Если на сайте очень много страниц, то, конечно, нагрузка может превышать лимиты.
Если страниц не много, стоит посмотреть куда обращаются боты, какие ссылки запрашиваются. Как-то был случай, что у клиента был включен поиск по сайту и в индексирование попадали запросы типа http://domain.com/search.php?поисковыйзапрос - такие вещи нужно блокировать от индексации - они ничего не дают посетителям сайта и только создают лишнюю нагрузку для сайта.
Ну и как всегда, нужно кешировать статические элементы и страницы, возможно, поиграть с временем кэширования и т.п. и т.д.
Переезжайте на вдс и никто вас не будет "защищать" от "ддосов".
Вряд ли таймвеб блокирует боты ПС типа Гугля или Яндекса. Но есть ведь куча других ботов, в том числе даже "самодельных". Так что стоит проверить что это за боты и, если они вам не нужны - запретить им доступ в .htaccess по user-agent. А если это боты от Гугля и Яндекса, то ими в некоторой степени можно управлять - задать частоту обхода, таймаут проставить через robots.txt. Если на сайте очень много страниц, то, конечно, нагрузка может превышать лимиты.
Если страниц не много, стоит посмотреть куда обращаются боты, какие ссылки запрашиваются. Как-то был случай, что у клиента был включен поиск по сайту и в индексирование попадали запросы типа http://domain.com/search.php?поисковыйзапрос - такие вещи нужно блокировать от индексации - они ничего не дают посетителям сайта и только создают лишнюю нагрузку для сайта.
Ну и как всегда, нужно кешировать статические элементы и страницы, возможно, поиграть с временем кэширования и т.п. и т.д.
""если это боты от Гугля и Яндекса, то ими в некоторой степени можно управлять - задать частоту обхода, таймаут проставить через robots.txt""
Можете посоветовать, какие конкретно значения можно попробовать поставить?
Про яндекс хорошо описано https://yandex.ru/support/webmaster/controlling-robot/
А про гугл тут https://developers.google.com/search/reference/robots_txt?hl=ru
Можете посоветовать, какие конкретно значения можно попробовать поставить?
Чтобы советовать, нужно знать что у вас происходит. Для понимания происходящего помогает анализ логов.
какие меры вообще принять
Забанить всех роботов кроме тех, что действительно полезны.
И еще вопрос, а про появление кнопки как узнали?
Сами наткнулись?
Таймвеб сообщил письмом?
Или таймвеб как всегда, в своем репертуаре просто прислал письмо с предложением более дорого тарифа?
Если вариант 1 или 3, то смена хостинга - как выход из ситуации.
Переезжайте на вдс и никто вас не будет "защищать" от "ддосов".
У меня есть подозрение, что если хостер выставил такую меру пресечения ботов для клиента то ВПС на 1 Гб RAM тупо загнется.