- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день,
Сколько запросов к сайту в 20 секунд производят боты (яндекс,гугль) при обходе сайта?
К какому именно сайту?
К какому именно сайту?
К Яндексу пожалуйста подсчитай. :D
Или хотя бы формулу выложи. :)
К какому именно сайту?
хм.. да вот даже к примеру взять данный форум.
Просто поставили ограничения с одного айпи 5 запросов в 20 сек.
Вот интересно не будет ли плохо от этого сайту, индексация не ухудшиться?
а то вдруг когда он сделает 5 запросов в 10 сек. уйдёт ненароком)
Просто поставили ограничения с одного айпи 5 запросов в 20 сек.
Не нужно с роботами обращаться грубо, лучше использовать понятный им язык.
Вы знакомы с директивой Crawl-delay в robots.txt ?
В соответствии с правилами раздела, вы должны сперва прочитать общедоступную первичную документацию.
Нагрузка будет зависеть в том числе от количества страниц на сайте. У этого форума, например, в Яндексе более 300000 страниц.
Не нужно с роботами обращаться грубо, лучше использовать понятный им язык.
Вы знакомы с директивой Crawl-delay в robots.txt ?
В соответствии с правилами раздела, вы должны сперва прочитать общедоступную первичную документацию.
Нагрузка будет зависеть в том числе от количества страниц на сайте. У этого форума, например, в Яндексе более 300000 страниц.
Собственно данные меры из за ддос атаки.
роботс памойму в данном примере не поможет.
На сайте 50.000 страниц в яндексе. (кто было сделано)
Kost, streetbox.ru все правильно сказал. Вот здесь вся информация по Crawl-delay
Просто поставили ограничения с одного айпи 5 запросов в 20 сек.
А так лучше не поступать.
PS. Я думаю тогда надо бороться с ддос атаками, чем бороться с Яндексом.
Kost, streetbox.ru все правильно сказал. Вот здесь вся информация по Crawl-delay
А так лучше не поступать.
спасибо, вещь нужна не знал об этом.
НО то что я сделал было из за ддос атаки на сайт, и что бы как бы немного уменьшить ризико было сделанно данное ограничение.
кто было сделано
немного уменьшить ризико
streetbox.ru, призываю совершить усилия над собой и выражаться понятнее.
и так сегодня сайт ддосили мне посоветовали сделать ограничение 5 запросов в 20 сек.
Меня интересует будут ли проблемы при обходе роботами (делают ли они свыше 5 запросов в 20 сек?) и не упадёт ли индексация сайта из за этого ограничения (5 запросов в 20 сек.)
Для сайта в 50 000 страниц лучше разорится на сервер.
Если сервер уже есть, то добавлять памяти, чтобы ботам было комфортно,
иначе просто нет смысла в 50 000 страницах, если только поисковые боты заваливают.
А против настоящего ддоса нужен сервер там, где ддосом занимаются.