- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Bing Bot 2.0 отдаёт 403 Forbidden.
Получается, что бот ПС Бинга будет заблокирован...
Конечно, он же указан
всё что указано, будет баниться по фактическому текстовому совпадению.
Отсюда следует, что если написание будет различаться, совпадения не будет; следовательно, попадать под правило не будет.
Конечно, он же указан
всё что указано, будет баниться по фактическому текстовому совпадению.
Отсюда следует, что если написание будет различаться, совпадения не будет; следовательно, попадать под правило не будет.
Решил сократить список, приведя его к следующему виду.
Надеюсь, что перечислил самых распространённых ботов, часто сканирующих сайт.
https://habr.com/ru/companies/first/articles/704350/comments/#comment_25003880
Если Вас не затруднит, не могли бы Вы перечислить боты, которых необходимо оставить в списке?
Повторюсь: у разных хостов будут разные боты! Мой список ничего не даст, у Вас он может быть совсем другим. Ну если только так, для общего развития, могу показать, что на одном хосте было замечено за последние дни с активностью и откидывается сегодня:
"HTTrack","ahrefs", "crawler", "babbar", "mj12bot", "keys-so", "semrush", "test-bot", "dotbot", "my-tiny-bot", "BLEXBot", "serpstatbot", "AntBot", "amazonbot", "admantx", "weborama"
по опыту все блокировки в кодах не работают, только ручная блокировка по IP. Кроме ботов еще большая проблема парсеры, например из облаков парсят только успевай ip отслеживать. Дайте ботам бессмысленные страницы пусть сканируют хрень.
Борьба с ботами это дело хостеров. Найдите такой хостинг что бы не заниматься фигней.
Тут среди нас есть товарисчи, которые и запускают этих ботов. Когда покупаете какие-то услуги типа "отслеживание конкурентов" вы финансируете серчботы всякие.
только ручная блокировка по IP
Блокировать нужно подсети и страны.
ArmenDomain #:
Тут среди нас есть товарисчи, которые и запускают этих ботов. Когда покупаете какие-то услуги типа "отслеживание конкурентов" вы финансируете серчботы всякие.
Они их запускают, они же и лечат от них, бормоча "заумные фразы" 😜
У ЧЧаплина фильм есть, сонок окна бьет, а папа следом идет и стеклит.
Что мешает заблочить крупные сетки? Останется мелочь, которую легко ловить и возможно те, кто с инт-провайдеров по заказу с копеечных бирж.
Они их запускают, они же и лечат от них, бормоча "заумные фразы" 😜
А за ними стоит мировое правительство, которым правят рептилоиды. Всё это дело происходит в матрице, само собой 😀
А за ними стоит мировое правительство, которым правят рептилоиды. Всё это дело происходит в матрице, само собой 😀
А все остальные лишь энергетические батарейки.
Поэтому перед тем как заходить на Серч нужно непременно надевать шапочки из фольги. А! Чуть не забыл, ещё один новый скрепосный тренд - надо покаяться.
А за ними стоит мировое правительство, которым правят рептилоиды. Всё это дело происходит в матрице, само собой 😀
Нет, за ними стоят фрилансеры от CF, которые из мухи раздувают слона.
Разогнали тему, мне хватило пару недель найти решение (от умных людей) 😜
Разогнали тему, мне хватило пару недель найти решение (от умных людей) 😜
Как поставлен вопрос ТС - такие и решения. Такое и обсуждение. Но посыл хорошь и понятен.
Только есть один нюанс, почему миссия не выполнима. Сложность точного определения Робот/Человек. В запрет "для всех" может легко попасть вполне себе приличный человек, использующий какой-нибудь экзотический интернет обозреватель. И наоборот, зловредный Бот, назвавший себя Гуглботом, сможет беспрепятственно выполнять свои деструктивные действия.
Поэтому все алгоритмы идут по пути установки запрета входа на сайт конкретным выявленным Роботам. А не наоборот.