- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Пошла большая нагрузка на сайт. Хостер сказал, что слишком много и часто боты разные приходят, дали список:
22631 yandex.com/bots
21768 YandexBot/3.0
4901 SERankingBacklinksBot/1.0
3763 www.google.com/bot.html
3763 Googlebot/2.1
1945 Googlebot-Image/1.0
360 www.bing.com/bingbot.htm
360 bingbot/2.0
115 opensiteexplorer.org/dotbot
115 DotBot/1.2
92 bot
73 VKRobotRB
62 www.semrush.com/bot.html
62 SemrushBot/7
58 linkup.so/bot
58 LinkupBot/1.0
58 LinkupBot
49 BitSightBot/1.0
44 openai.com/searchbot
44 openai.com/bot
Что из них точно стоит заблокировать?
Лови список ботов, проверенный годами — их не нужно блокировать. Всё остальное - в блок!
Что из них точно стоит заблокировать?
Всех. Нагрузка точно снизится и хостеру приятно будет.
Людей тоже можно заодно. А зачем мелочиться?
Блоч всех, имеющих в названии Yandex и google
Пошла большая нагрузка на сайт.
Случайно не на вордпрессе сайт?
Блоч всех, имеющих в названии Yandex и google
на нем
Что из них точно стоит заблокировать?
Все зависит от ресурса, блокировать по User Agent не лучшая затея (они подделываются). Условно в Googlebot/2.1 может быть не гугл бот, ПС боты нужно добавлять в исключения по хостам или ASN сетям или что еще - это к слову.
А по теме:
SERankingBacklinksBot - при условии что не пользуетесь сервисом.
DotBot
VKRobotRB если не крутите рекламу через вк
Semrush все - если не пользуетесь.
Но у Вас по данным видно что преобладают яндекс боты (непонятно за какой промежуток), нужно разобраться - действительно ли это официальные боты.
Если официальные, то вариантов куча:
1. В вебмастере уменьшить сканирование (частоту), но черевато тем если контента много нового - мб долгое появление.
2. Сделать кэширование страниц и отдавать ботам статику, тем самым разгрузить сервер от запросов к БД и ТП
3. Самый простой - увеличить мощности сервера, а потом разбираться по оптимизации.