- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
плюс защита от ддос-гуард стоит
нет, итак на максимальном тарифе
нет, это нормальный. если не усмирить там, то только увеличивать ресурсы сервера. но в большинстве сайтов контент на всех страницах не меняется каждый день, их не надо посещать по 3-5-10 раз в день каждую страницу, как делает яндекс.
И не знать, что поисковые боты усмиряются ответом сервера 304?
Т.е 10 - 100 заходов в сутки, вместо 40 тысяч. Не трогая скорость бота. И при этом новые и измененные страницы обновляются в индексе от минуты и максимум до суток, что в Яндексе, что в Гугле.
И при этом проиндексированные страницы годами в индексе.
PS При этом у вас то консоль у Гугла не работает, то Яндекс не индексирует - это же естественно, если вы резко уменьшаете скорость обхода , вместо уменьшения использования Краулингового бюджета.
( 1-5% вместо 100 %)
При этом вы еще еще увеличиваете количественно страниц ( на 100% и более) за счет дублей, полагаясь на canonical или robots. Ну и вопрос - почему вас при этом нельзя блокировать при больших нагрузках?
yalol #:
плюс защита от ддос-гуард стоит)
Т.е то что тебе написали уже двое - трое, что защита ддос здесь ни при чем. И то, что хостинг не ограничивает поисковых ботов, которые и создают нагрузку - у тебя мимо пролетело?
Настройте Last-Modified. Ваш сервер должен сообщать краулерам, страница изменилась или нет, для того, чтобы впустую не переиндексировалось одно и то же.
В данном случае не поможет, только поисковые боты от гугла передают в заголовке “If-Modified-Since”. Яндекс на это дело забил, пол года назад обратился в тех. поддержку с этой проблемой - ничего не изменилось.
Господи, тут есть нормальные люди или только желчные, дающие вредные советы?
А какой вы нормальный ответ хотите получить на глупый вопрос?
Вы перечислили вполне безобидных ботов. Если только некоторые можно исключить, так и то не по юзерагенту, а по ip это надо делать.
Потом вы это в контексте нагрузки написали. Если нагрузка велика, надо проводить оптимизацию или увеличивать мощности.
Цифры, которые вы тут продемонстрировали - это вообще не цифры. Это ничто.
Какой вопрос, такой и ответ. Спрашивали что заблокировать, чтобы уменьшить нагрузку? Ответ - всё блокировать.
Это правильный совет, если точнее Last-Modified и ответ сервера 304.
Один нюанс - большинство его неправильно настраивают. Правильно - это когда дата Last-Modified равна публикации или модификации, а не дате кэширования страниц
22631 yandex.com/bots
4901 SERankingBacklinksBot/1.0
115 opensiteexplorer.org/dotbot
115 DotBot/1.2
92 bot
73 VKRobotRB
62 www.semrush.com/bot.html
62 SemrushBot/7
58 linkup.so/bot
58 LinkupBot/1.0
58 LinkupBot
49 BitSightBot/1.0
44 openai.com/searchbot
44 openai.com/bot
вот это блокируйте через .htaccess
индексирующие боты Янда, Гугла, Бинг - конечно не блокируйте