- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
У меня на сайте было около 15000 ботов в день как прямых, так и по поисковым фразам. Чтобы тут не говорили на пользователя "softerra" - но он реально прав. Стоит только заблочить битерику и всё стает на место, потом правда ещё с ipv6 повалили, но отключил ivp6 на хостинге и всё ок.
Тут возможно нужды у всех разные. Если у кого-то статейник обычный то клауд им поможет. Но в моем конкретном случае (загрузочный трафик) от клауда было больше гемороя чем пользы.
Поэтому и написано 1000 раз. Не нужно натягивать сову на глобус. И свои частные случаи подавать как истину в последней инстанции.
Повезло тому у кого только битерика, и нет больше вообще ничего.
А вот у магазинов, посещаемых сайтов и проч где конкурентная ниша. Там где посещалка в десятки, а бывало у меня что и сотни тысяч (настоящих) посетителей в день.
Там, представьте себе, еще и заказывают наскок с целью понижения поведенческих. И потом еще корректируют атаку, постоянно ищут новые дырки в защите.
И в целом набор сеток с которых прут боты - минимум на порядок больше, и битерикой не ограничивается. В один момент вдрух бац - трафик прямых через ростелеком краснодар и через мегафон - вырос на 1000% в течение месяца. И отовсюду с других мест поперли прямые. Вырубаешь 6 протокол, начинаешь разгребать.
А потом приходишь сюда, а здесь какой-то извините говносайт с 50 посетителями рассказывает каждый день как он выловил одного очередного бота и заставил его зря палить электричество.
Неуловимый ДЖО. Который неуловимый потому, что никому не нужен и никому не интересен.
У меня на сайте было около 15000 ботов в день как прямых, так и по поисковым фразам. Чтобы тут не говорили на пользователя "softerra" - но он реально прав. Стоит только заблочить битерику и всё стает на место, потом правда ещё с ipv6 повалили, но отключил ivp6 на хостинге и всё ок.
Тут возможно нужды у всех разные. Если у кого-то статейник обычный то клауд им поможет. Но в моем конкретном случае (загрузочный трафик) от клауда было больше гемороя чем пользы.
Было 45 000 - 48 000 в сутки, из них 98% прямые. Вчера 300 уников, все поведенческие взлетели в 3-4 раза.
Когда сайт начнет пробиваться из-за ПФ в топы - бототраф опять пойдет, так как они пасут первые страницы, все что ниже, к примеру топ 20 - не интересно.
У меня есть сайт ИМ, с 2019 года на нем пасутся боты, а ему вообще - побоку все. Я там ничего не делаю. Траф нишевый, точечный, заказы идут.
Тоже смотрю метрики, логи, собираю стату для себя.
Есть информационники, нишевые, широкого спектра. Вот тут уже веселее все. Логов там по 100к в день ;)
От банального брутфорса в админку, до заходов из ПС с ключом, а по вебвизору - явный бот с одинаковым сценарием - вот с ними сложно, так как, в основном, прут: с AS42610 Rostelecom; AS31163 PJSC MegaFon; и т.д. откуда прут и обычные люди.
Когда сайт начнет пробиваться из-за ПФ в топы - бототраф опять пойдет, так как они пасут первые страницы, все что ниже, к примеру топ 20 - не интересно.
У меня есть сайт ИМ, с 2019 года на нем пасутся боты, а ему вообще - побоку все. Я там ничего не делаю. Траф нишевый, точечный, заказы идут.
Тоже смотрю метрики, логи, собираю стату для себя.
Мне кажется, что ботов заказывают конкуренты. В ИМ каждый визит с поиска - потенциальный покупатель. У меня рекламы нет на сайте. Нафик он сдался ботофермам просто так, на автомате. Не верю, что боты сами мониторят все топы.
У меня (у клиента) тоже идут заказы и это не нравится конкурентам. Самый дешевый товар от 1800 р, берут по несколько шт часто. Это не сайтики с гороскопчиками и статейками обвешанные рекламой. Борьба за покупателя )
Мне кажется, что ботов заказывают конкуренты.
Не верю, что боты сами мониторят все топы.
Бывают и конкуренты, но в e-commerce эти маркеры уже давно читаются ;)
И тут уже идет конкурентная борьба за клиента и противодействие этим событиям.
Нет никакой сложности программно идти на сайты из топ-20, это делается на автомате. А про нужду это делать я описывал выше про это.
У меня информационный сайт. В мае трафик сильно возрос, выводы сразу сделал - в мир проникли демоны, и пошёл искать способы остановить эту напасть. Благодаря этому порталу и соседней теме, удалось настроить cloudflare с запретом на пустых реферов + по мелочам, после чего через .htaccess заблочил битерику (как прочекал через метрику потом, она действительно там была, но до этого момента особо не беспокоила) и до кучи ещё всякой шушеры. Как итог: трафик нормализовался за пару дней, и в завершение я наконец-то решился отключить турбо-страницы, потому что... ну, они от лукавого.
И всё было хорошо, пока народ огня не развязал войну (с).
Пару дней назад трафик вырос раза в три, если не больше. "Ура! Яндекс меня оценил!", - возрадовалась душа. "Нет, дурак, тебя заметили боты (зачёркнуто) демоны", - выдал мне голос разума. В метрике эти демоны не показывались, как отследить не знал. Благодаря этой темке и советам отзывчивых ребят, вырезал AAAA записи (проживаю в REG), отключил на хосте ipv6, вырезал АААА в cloudflare. Но это не помогло - легион демонический и не думал отступать. И тогда, чудом, в сети, пока искал способы отключения ipv6 наткнулся на информацию, что в cloudflare есть маааленький пунктик, который самостоятельно подрубает ipv6 и отключается только по платной подписки. Об этом уже здесь упоминалось, просто для не про-хацкера вроде меня это не было очевидным.
По итогу, через скрипт, API и командную строку (мне не помог терминал, а вот через CMD всё заработало) эта штука отрубается без платной подписки.
И вуаля, демонов и след простыл. Так что обязательно обратите на это внимание, коллеги. В поиске об этом упоминается по запросу: "Как отключить ipv6 в cloudflare".
Хотел бы ещё раз поблагодарить всех, кто пишет здесь о проблемах и тех, кто помогает их решать. Вы - лучшие. Демоноводам же желаю... всех благ.
Да... всех благ (нет).
стоит волноваться?
и куда смотреть еще
роботы никогда не беспокоили особо, но чет эта тема очень популярна, поэтому лучше перебдеть
Клаудфлеристы прозой начали писать.
Скоро похоже стихами в рифму начтнут тему заваливать.
А тем временем магазинчик обслуживает покупателей без лишней суеты и мороки. Чисто на серверных блоках.
Чисто на серверных блоках.
Какой процент отказов и роботность за последний месяц скрин можно увидеть?
Клаудфлеристы прозой начали писать.
Скоро похоже стихами в рифму начтнут тему заваливать.
А тем временем магазинчик обслуживает покупателей без лишней суеты и мороки. Чисто на серверных блоках.
С таким трафиком и соответственно позициями, вы просто еще не попали в базу.
Вот скрин небольшого сайта вообще без каких либо фильтров и блоков, с ростом позиций боты потихоньку начали появляться.