Спасибо всем за идеи и сообщения, стараюсь всё проверить в меру своего понимания. После блокировки и ограничений всего и вся, проблема свелась к одному боту (на скрине ниже), теперь явно видно, что сайт падает когда он активизируется, стабильно отправляет на сервер +-600 запросов в минуту. Судя по описанию, он проверяет доступность страниц для директа. Мониторинг сайта был отключен во всех рекламных кампаниях, но бот продолжает приходить и перегружать сервер. В настройках самого вебмастера не нашел никаких опций на эту тему (кроме мониторинга конкретных страниц, там ничего не выбрано). Поддержка пообещала ограничить активность бота (200/минута), но ничего не меняется.
У сайта ~2000 поддоменов. Бот обращается только к главной странице, не понимаю зачем нужно делать 30 000 обращений в час.
Логи:
Описание бота:
Опция мониторинга сайта:
Всё включено, цели, вебвизор, конверсии
Процессор 3.3 Гц, 6 ядер, 8 Гб оперативки. Кажется, что неплохое железо для одного сайта с посещаемостью 400 хостов в сутки
А что мешает уменьшить скорость обхода? Яндекс - это вещь в себе. Например, если сайт на поддоменах, нет общей скорости, есть отдельные для каждого поддомена, что не есть гуд. Во-вторых, есть стандартный запрос в техподдержку, там могут проверить и уменьшить.
В том и дело, что это минимально возможный показатель, который можно установить. Сайт действительно на поддоменах, на всех установлен общий аккааунт метрики и вебмастера
Все айпишники - Яндекса.
Я разобрался в логах и заблокировал в robots.txt всё, что можно было заблокировать. После чего, утром написал в чат поддержки Яндекс.вебмастера, мол, почему боты игнорируют запрещающие директивы. На что мне ответили, что перечисленный десяток ботов их действительно игнорирует, на robots.txt смотрит только YandexBot. И предложили установить ограничение на количество запросов в минуту (ограничение 200, при 500 нагрузка на проц возрастает до 100%). Оказывается так можно было, но мне не предложили этот вариант при первом обращении. Не знаю, это оперативная реакция технической поддержки или robots помог, но сегодня всё спокойно.
На сайте для каждого города отдельный поддомен. Когда запускалась реклама, боты начинали тянуть всякое, помимо нормальных страниц - типа кэша, стилей, страниц корзины, настроек аккаунта, результатов поиска и т. п. Они и сейчас тянут, но видимо не все из них, что практически полностью убрало нагрузку.
Потому, что ставки падают, нет конкуренции между блоками и у вас в полноэкранном блоке начинаются показы более дешевых объявлений )))
А вообще, так математика тут не работает, там всё немного сложнее.
А как блоки конкурируют между собой в этом случае? Разве конкуренция не за показ объявления идёт (без учёта того, в каком блоке оно будет показано)?
Как можно полноэкранный показывать в 100% случаев? У вас полноэкранный стоит на МОБ или на ПК? Это обычный блок может показываться и на ПК и на МОБ версии. Или вы Floor Ad имели ввиду а не обычный блок?
Я имею в виду, что раньше было так, что какой баннер выводить, полноэкранный или нижний - определялось рандомом 50/50. Потом нижний баннер был отключен и каждый раз, когда это возможно, начал выводиться полноэкранный
А какая есть зависимость от месяца?
Спасибо за совет, но я ищу готовый сервис.
Тут кто-то поводу не отображающихся блоков рекламы предлагал поставить асинхронные блоки. Мне помогло, спасибо за наводку. Но создавать вручную кучу статических блоков под разные разрешения довольно мутарно. Небольшая хитрость - можно добавить на страницу один синхронный рекламный блок в прозрачный див, тогда все асинхронные будут грузиться с первого раза.
Спасибо. Например, на сервисе погоды есть много страниц, отличающихся только городом. В разных странах есть города с одинаковым названием. В тайтле страна прописана. Целесообразно ли указывать страну в description, если в нем и так уже немало символов? Плюс страна в дескрипшине разбавит важный ключ 1-2 словами. Что в этом случае принесет больше пользы, при прочих равных, по вашему мнению?
Спасибо за совет. А есть версии, зачем это делают?
Вы знаете какой-то другой способ использования iframe?---------- Добавлено 25.01.2015 в 22:16 ----------
Не понял, это почему?
