- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Поддержка пообещала ограничить активность бота (200/минута), но ничего не меняется.
В данном случае речь идёт именно о боте Директа. Никакими Вебмастерами и тем более заголовками сервера он не регулируются.
Решить в пользовательском режиме эту проблему не получится, только Яндекс может увидев (и в должной степени осознав), повлиять на ситуацию.
Ведите плотную переписку с тех. поддержкой, проверяйте фактически насколько они смогли ограничить деятельность своего бота, фиксируйте и высылайте им результат.
Помните, человеческий фактор есть везде (в том числе и в цепочке взаимодействия с тех. поддержкой Яндекса).
Уже говорил и повторюсь - на форуме есть два сотрудника Яндекса, которые реагируют на пользовательские задачи и включаются в их решение.
Напишите Роману (это один из них), он активно включается в проблемы вебмастеров и может помочь с коммуникацией.
Также есть ещё Тимур Рябинин.
В вашем случае вам поможет лишь конструктивный диалог и терпение.
Просто карта, без xml разметки снизит не на много нагрузку с сервера. Поисковику важно поддерживать актуальность базы.
Карта xml с датами обновления всех страниц сайта, поможет снять нагрузку с сервера, при условии что поисковик будет считать достаточной эту информацию.
Какими сервисами проверить наличие заголовков?
https://last-modified.com/
https://bertal.ru/
Впрочем, можно и без сервисов средствами Chrome браузера,
ну вот и ответ.
1 заход любого бота на каждый поддомено = 2000 запросов.
Вам нужен мощный и настроенный сервер.
Так же нет никаких входных данных, что за CMS и что там вообще происходит.
ну вот и ответ.
1 заход любого бота на каждый поддомено = 2000 запросов.
Замечание резонное, но я очень сомневаюсь, что одновременно стартуют все РК для всех 2K поддоменов, поэтому здесь я вижу принципиально важным уточнить - в каком объёме и в какой конфигурации запускаются РК в Директе.
Отсюда по назначению и нужно оценивать результирующую нагрузку.
Замечание резонное, но я очень сомневаюсь, что одновременно стартуют все РК для всех 2K поддоменов, поэтому здесь я вижу принципиально важным уточнить - в каком объёме и в какой конфигурации запускаются РК в Директе.
Отсюда по назначению и нужно оценивать результирующую нагрузку.
Стартует может быть и не все, а вот боты могут ходить и проверять по своим правилам. Так же есть момент, что приходят разом не только эти боты, но ну и другие.
В любом случаи 2000 поддоменов = 2000 разных сайтов. Если это виртуальный хостинг или дохлый VDS, а на нём интернет магазин с 50 000 товаров... Ну не знаю...
Стартует может быть и не все, а вот боты могут ходить и проверять по своим правилам.
Я к тому, что вряд ли фактически есть как минимум 2 тыс. рекламных кампаний с указанием на разные поддомены.
А если бы они были, то в общем они бы сами понимали объём рабочей нагрузки.
В любом случаи 2000 поддоменов = 2000 разных сайтов. Если это виртуальный хостинг или дохлый VDS, а на нём интернет магазин с 50 000 товаров... Ну не знаю...
Здесь согласен, такой объём рабочих источников должен быть согласован по рабочей нагрузке и по серверным возможностям, поэтому в данном случае рабочая картина неполная и требует уточнений.
У сайта ~2000 поддоменов. Бот обращается только к главной странице, не понимаю зачем нужно делать 30 000 обращений в час.
При настройке Last-modified , для правильного ответа 304, вы одновременно должны будете настроить и ответ сервера expires
У Антоний в комментарии ссылка на проверку
На данный момент, у вас ответ expires, явно по умолчанию выдает сервер , какого нибудь 1981 года
Метрика -> настройка -> уведомления -> мониторинг. Может отсюда проблема растет?
А во вторых 600 запросов в минуту это ничкемная нагрузка. Повод заняться оптимизацией, а не ныть что бот сайт проверяет.
Тем более если у яндекса действительно что то некорректно работает, то это найти и исправить не так то просто и быстро.