- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток. Заметил, что сайт стал очень часто посещать бот "GrapeshotCrawler/2.0" и соответственно нагружать сервер, что это за бот такой? Можно ли его блокировать или он нужен?
https://www.google.ru/search?client=opera&q=GrapeshotCrawler&sourceid=opera&ie=UTF-8&oe=UTF-8
Доброго времени суток. Заметил, что сайт стал очень часто посещать бот "GrapeshotCrawler/2.0" и соответственно нагружать сервер, что это за бот такой? Можно ли его блокировать или он нужен?
бань его да и все, а что за бот можешь загуглить по его названию, на первой строчки оф сйт с описанием. Я уже столько перебанил в htacces что не перечесть зато теперь нагрузки на сайт вообще нет, даже тариф на хостинге более маньший взял
бань его да и все, а что за бот можешь загуглить по его названию, на первой строчки оф сйт с описанием. Я уже столько перебанил в htacces что не перечесть зато теперь нагрузки на сайт вообще нет, даже тариф на хостинге более маньший взял
Можете выложить список из htaccess?
Net_Prosto, список UA самых часто встречающихся ботов можно посмотреть тут: https://github.com/monperrus/crawler-user-agents/blob/master/crawler-user-agents.json, там и хорошие есть (типа гугла) и плохие. Выбираете их списка pattern которых хотите и добавляете себе в .htaccess:
RewriteCond %{HTTP_USER_AGENT} ^.*(Baiduspider|HTTrack|итд).*$ [NC]
RewriteRule .* - [F,L]
Но вообще самые плохие боты прикидываются браузерами, поэтому лучше использовать специализированные решения для блокировки ботов.
Спасибо за ответы, буду блокировать этот бот. А ещё нашел в логах бот semrush, то его тоже заблокировал. Нагрузка на сервер заметно уменьшилась. :)