Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 18.02.2019, 18:59   #1
Студент
 
Регистрация: 04.11.2015
Адрес: Украина
Сообщений: 16
Репутация: 10

Post Бот GrapeshotCrawler

Доброго времени суток. Заметил, что сайт стал очень часто посещать бот "GrapeshotCrawler/2.0" и соответственно нагружать сервер, что это за бот такой? Можно ли его блокировать или он нужен?
igor1306 вне форума   Ответить с цитированием

Реклама
Старый 18.02.2019, 19:27   #3
леонид1161
Аспирант
 
Регистрация: 27.12.2016
Сообщений: 114
Репутация: 5389

По умолчанию Re: Бот GrapeshotCrawler

Цитата:
Сообщение от igor1306 Посмотреть сообщение
Доброго времени суток. Заметил, что сайт стал очень часто посещать бот "GrapeshotCrawler/2.0" и соответственно нагружать сервер, что это за бот такой? Можно ли его блокировать или он нужен?
бань его да и все, а что за бот можешь загуглить по его названию, на первой строчки оф сйт с описанием. Я уже столько перебанил в htacces что не перечесть зато теперь нагрузки на сайт вообще нет, даже тариф на хостинге более маньший взял
леонид1161 вне форума   Ответить с цитированием
Сказали спасибо:
Старый 19.02.2019, 00:00   #4
Net_Prosto
Аспирант
 
Регистрация: 29.07.2006
Сообщений: 104
Репутация: 298

По умолчанию Re: Бот GrapeshotCrawler

Цитата:
Сообщение от леонид1161 Посмотреть сообщение
бань его да и все, а что за бот можешь загуглить по его названию, на первой строчки оф сйт с описанием. Я уже столько перебанил в htacces что не перечесть зато теперь нагрузки на сайт вообще нет, даже тариф на хостинге более маньший взял
Можете выложить список из htaccess?
Net_Prosto вне форума   Ответить с цитированием
Старый 19.02.2019, 00:45   #5
Оптимизайка
Академик
 
Аватар для Оптимизайка
 
Регистрация: 11.03.2012
Адрес: 127.0.0.1
Сообщений: 4,264
Репутация: 589458

По умолчанию Re: Бот GrapeshotCrawler

Net_Prosto, список UA самых часто встречающихся ботов можно посмотреть тут: https://github.com/monperrus/crawler...er-agents.json, там и хорошие есть (типа гугла) и плохие. Выбираете их списка pattern которых хотите и добавляете себе в .htaccess:

RewriteCond %{HTTP_USER_AGENT} ^.*(Baiduspider|HTTrack|итд).*$ [NC]
RewriteRule .* - [F,L]

Но вообще самые плохие боты прикидываются браузерами, поэтому лучше использовать специализированные решения для блокировки ботов.
__________________
BotGuard ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
Оптимизайка вне форума   Ответить с цитированием
Сказали спасибо:
Старый 19.02.2019, 12:44   #6
igor1306
Студент
 
Регистрация: 04.11.2015
Адрес: Украина
Сообщений: 16
Репутация: 10

ТопикСтартер Re: Бот GrapeshotCrawler

Спасибо за ответы, буду блокировать этот бот. А ещё нашел в логах бот semrush, то его тоже заблокировал. Нагрузка на сервер заметно уменьшилась.
igor1306 вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 04:51. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны