- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день!
Скан-боты постоянно гуляют по сайту и создают нагрузку.
Посмотрел на форумах, что для этого в .htaccess надо прописать:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(AhrefsBot|SolomonoBot|SearchBot|MJ12bot|bingbot|SemrushBot|Mail|DotBot).* [NC]
RewriteRule ^.* - [F,L]
Но смотрю в файле access_log боты все равно спокойно гуляют по сайту.
Например, сегодня обнаружил DotBot/1.1, Mail.RU_Bot/Fast/2.0.
Как от них правильно избавиться? Почему код не работает?
Добрый день!
Скан-боты постоянно гуляют по сайту и создают нагрузку.
Посмотрел на форумах, что для этого в .htaccess надо прописать:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(AhrefsBot|SolomonoBot|SearchBot|MJ12bot|bingbot|SemrushBot|Mail|DotBot).* [NC]
RewriteRule ^.* - [F,L]
Но смотрю в файле access_log боты все равно спокойно гуляют по сайту.
Например, сегодня обнаружил DotBot/1.1, Mail.RU_Bot/Fast/2.0.
Как от них правильно избавиться? Почему код не работает?
Последнею неделю тоже борюсь с HTTP флудом ответа так и не нашел .htaccess не помогает, какой у Вас хостинг? Смотрю проблема такая у многих появилась.
Последнею неделю тоже борюсь с HTTP флудом ответа так и не нашел .htaccess не помогает, какой у Вас хостинг? Смотрю проблема такая у многих появилась.
Хостинг timeweb. Они начали присылать сообщения с просьбой разобраться с нагрузкой, иначе отключат сайты. Последние недели 2-3 большая нагрузка на сервер
Попробуйте этот скрипт. Там гибкие настройки, можно указать исключения и допустимое количество визитов за определённый интервал времени. Плюс блокируйте админку для всех IP кроме ваших. Для этого в папку administrator вставьте htaccess
<Files index.php>
order deny,allow
deny from all
allow from ваш IP или маска
</files>
Попроще методов блокировки поисковых ботов нет?
Попроще методов блокировки поисковых ботов нет?
Если WP, то плагинами. Будут тоже самое делать, но есть оболочка
Ильгиз Ш, в логах будут записи всегда!
Вы посмотрите какой ответ отдает севрер в тех же логах.
Если 403, то всё ок, если 200 значит действительно не работает.
Данное правило Вы размещаете после:
RewriteEngine On
?
Вообще HTTP_USER_AGENT не надежный вариант, так как могут боты маскироваться под известными, тут лучше банить их по айпи.
В информации находите полный блок айпи адресов, например 127.0.0.0/20
Далее в .htaccess указываете следующее:
Естественно IP 127.0.0.0 и 192.168.0.0, и соответственно их маски /20 и /22 заменяете на результат вывода информации по ссылке выше.
---------- Добавлено 13.10.2017 в 16:54 ----------
Вся подсеть в выводе информации указана после директивы route.
Иногда бывает, что она отсутствует, тогда можно вычислить из директивы inetnum на этом сайте
Вводите начальный айпи и конечный которые указаны в inetnum, и получаете результат, к которому нужно дописать Deny from и проблел.
Пополняете список.
Очень не рекомендую добавлять просто по IP адресу и всё, потому как обработка списка запрещенных адресов тоже дает нагрузку, и если это список разрастется до несколько сотен, а может и тысячу айпи адресов, Вы можете получить обратный эффект, в том плане, что сервер получит больше нагрузки в итоге.
Почему код не работает?
А сервер-то хоть под Апачем работает?
Если WP, то плагинами. Будут тоже самое делать, но есть оболочка
Не тоже самое. Ну те результат может и будет тоже, но цена за него будет намного выше. Перекладывать на php и тем более на движок задачи сервера - кривой путь и дорогое решение.
и создают нагрузку
Смотря какие боты и какую нагрузку. В 90% случаев боты указывают, на то, что нужно оптимизировать сайт/сервер и с ними не нужно "бороться".
Не тоже самое. Ну те результат может и будет тоже, но цена за него будет намного выше. Перекладывать на php и тем более на движок задачи сервера - кривой путь и дорогое решение.
Например iThemes Security пишет правила в .htaccess, как говорят, последний можно сохранить, а сам плагин удалить. Если не ошибусь Wordfence Security тоже. Решение найти специалиста для оптимизации тоже не дешевое.
Например iThemes Security пишет правила в .htaccess, как говорят, последний можно сохранить, а сам плагин удалить
Никогда не видел, чтобы так кто-то делал.
Но в там случае можно говорить, что надо поставить блокнот и логи :).
Ида. Пока он будет что-то собирать и "писать" - это будут расходы. Быстрее и дешевле это сделать анализом логов и блокнотом.
Решение найти специалиста для оптимизации тоже не дешевое.
Ну и помидоры не бесплатны. Но можно выращивать самому.