- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Друзья, есть сайт компании по оказанию услуг в Москве, достаточно конкурентная тематика. Сайт качественный, с возрастом.
На сайт уже давно активно идут боты, как результат имеем такую красоту:
БОльшая часть прямые заходы, часть ботов заходит через выдачу яндекса по основным запросам, например из Германии.
Причем из выдачи яндекса боты заходят по запросам где сайт уже на 30-50 позиции.
Ну и соотвествующее падение позиций по ключевым запросам, где-то просто в топ-20, где-то до 50-60 позиции.
Против ботов пробовали ставить cloudflare и сторонние скрипты защиты от ботов - не помогает, боты как шли так и идут.
Да и вообще есть сомнения, что блокировка ботов поможет, если Яндекс считает, что это реальные пользователи. Заблокируем ботов, в глазах Яндекса будем как сайт который не открывается у реальных пользователей.
Яндекс отвечает, что их алгоритм обучится и все расставит на свои места, когда нибудь, наверное. Вы пока развивайте сайт. За полгода алгоритм Яндекса не обучился, наверное еще заканчивает школу, а может детский сад.
Друзья, кто сталкивался, как боролись? Может есть где про это почитать? Не нашел.
Такая же ситуация, какое у вас соотношение ботов и реальных людей ?
Логи смотрели? Скорей всего заходы с одного и того же хоста, блокируйте по hostname. Чтобы отсечь всю эту "нечисть", надо постоянно мониторить и вычислять откуда идут заходы. Если все делать в постоянном режиме, через месяц-полтора эти набеги прекратятся. У вас еще попроще, когда рунетовский сайт и странные заходы из-за рубежа, а представьте как приходится вычислять весь этот мусор на бурж сайтах.
..del..del
---------- Добавлено 17.01.2019 в 17:19 ----------
Попробуйте это (2018 Bad Bots .htaccess List from HackRepair.com)
Логи смотрели? Скорей всего заходы с одного и того же хоста, блокируйте по hostname.
Там не только Германия, но и Россия, разные браузеры, разные операционные системы и я очень сомневаюсь, что там один хост.
Да скорее всего из hetzner заходят, можно их просто по ip заблокировать. Посмотрите в логах, какие ip и внесите их подсети в .htaccess
А если боты действительно умные, то лучше использовать спец. средства защиты от ботов.
Такая же ситуация, какое у вас соотношение ботов и реальных людей ?
Как предлагаете определять соотношение? Боты из разных стран, разные браузеры, ос, источники, поисковые запросы и т.д.
---------- Добавлено 17.01.2019 в 18:31 ----------
А если боты действительно умные, то лучше использовать спец. средства защиты от ботов.
Хосты разные. Объясните какие именно спец. средства в моей ситуации могут помочь? cloudflare например не может определить, что это боты, яндекс тоже.
cloudflare например не может определить, что это боты
Даже если поставить в файрволле тупо страну "германия"? Или внести asn hetzner AS24940 в firewall в режим блокировки?
могу посмотреть своими инструментами и предложить варианты решения.
Еще раз - боты не только Германия, но и Россия, разные браузеры, разные операционные системы, разные хосты.
Они успешно обманывают защиту cloudflare, платный php-скрипт отлова ботов и Яндекс.
Если можете предложить и описать конкретное решение в данной ситуации - велкам.
Если нет - хотелось бы услышать тех, кто сталкивался с такой проблемой, а не тех кто ради рекламы своих услуг зашел, спасибо.
конкретное и вполне рабочее решение — забить.
с 70% вероятностью это боты яндекса, который последние месяцы немножечко сошел с ума, и у которого средняя рука не знает что делает третья лженога.
но гадание по графику трафика — это так себе занятие.