- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторы Дзена теперь могут закреплять материалы прямо из раздела «Публикации» в Студии
Искать нужный контент там гораздо удобнее
Оксана Мамчуева
У меня большинство ботов выкосило таким способом.
это выкашивает около 60% ботов, тупо потому что это тратит время бота и он не успевает остальное загрузить. но этот процент постоянно падает, все что нужно боту это настроить его чтоб при виде страницы проверки он подождал чуть больше, в остальном клаудфлар не считает этих ботов ботами.
Подскажите, вот у меня по метрике есть заходы с двух странных IP сетей. Вижу что это принадлежит akamai.com и fastly.com. Судя по метрике они заходят из поисковых систем Google и Яндекс, проводят примерно 1.5 минуты или даже больше. Это боты или нет, то это такое и что с этим делать?
Тоже присутствуют заходы с этих сетей по IPv6.
это выкашивает около 60% ботов, тупо потому что это тратит время бота и он не успевает остальное загрузить. но этот процент постоянно падает, все что нужно боту это настроить его чтоб при виде страницы проверки он подождал чуть больше, в остальном клаудфлар не считает этих ботов ботами.
У меня количество прямых заходов сократилось в 10 раз.
Managed Challenge - использует метод на усмотрение системы. Это может быть: блокировка, капча или ожидание 2-3 сек.
И что самое главное такие проверку идут только для трафика с прямых заходов. На трафик с рекламы или поиска никаких ограничений нет.
Тоже присутствуют заходы с этих сетей по IPv6.
У меня количество прямых заходов сократилось в 10 раз.
Managed Challenge - использует метод на усмотрение системы. Это может быть: блокировка, капча или ожидание 2-3 сек.
И что самое главное такие проверку идут только для трафика с прямых заходов. На трафик с рекламы или поиска никаких ограничений нет.
Медленные сайты ни одна пс и пользователи не любят, готовьтесь
IP6 просто на хостинге отключите и все.
По метрике сегодня 6700 посетителей из них 1200 по ipv6, явно это не боты в основной массе.
Медленные сайты ни одна пс и пользователи не любят, готовьтесь
Для ПС стоит исключение, живого трафика с прямых заходов практически нет, тот кто очень хочет посетить сайт, 2-3 сек подождет, не проблема.
На трафик с поиска и рекламы, никаких проверок нет.
Вы так и не ответили в другой теме, каким способом решили проблему прямых заходов.
На закусочку, чтобы мысли зашевелились
при проверке обнаружили некоторые нежелательные запросы от IP
178.210.44.152, в настоящий момент заблокировано.
При детальном анализе логов за 14 марта, пришли в к выводу, что на сервер
приходит очень большое количество запросов, общее количество 422196. Много
запросов от различных ботов, информация по основным из них:
[root@......ru ~] # bzcat /var/log/nginx/*/access.log-20230308.bz2 | wc -l
422196
[root@.......ru ~] # bzgrep 'MegaIndex.ru' /var/log/nginx/*/
access.log-20230308.bz2 | wc -l
36306
[root@.......ru ~] # bzgrep -i 'yandex.com/bots' /var/log/nginx/*/
access.log-20230308.bz2 | wc -l
56980
[root@.......ru ~] # bzgrep -i 'SemrushBot' /var/log/nginx/*/
access.log-20230308.bz2 | wc -l
25661
Так кого будем блочить?
На закусочку, чтобы мысли зашевелились
при проверке обнаружили некоторые нежелательные запросы от IP
178.210.44.152, в настоящий момент заблокировано.
При детальном анализе логов за 14 марта, пришли в к выводу, что на сервер
приходит очень большое количество запросов, общее количество 422196. Много
запросов от различных ботов, информация по основным из них:
[root@......ru ~] # bzcat /var/log/nginx/*/access.log-20230308.bz2 | wc -l
422196
[root@.......ru ~] # bzgrep 'MegaIndex.ru' /var/log/nginx/*/
access.log-20230308.bz2 | wc -l
36306
[root@.......ru ~] # bzgrep -i 'yandex.com/bots' /var/log/nginx/*/
access.log-20230308.bz2 | wc -l
56980
[root@.......ru ~] # bzgrep -i 'SemrushBot' /var/log/nginx/*/
access.log-20230308.bz2 | wc -l
25661
Так кого будем блочить?
Это они через прямые заходы 422196 запросов наделали?😀
Если хотя бы половина вебмастеров защиту от ботов поставят, такие как вы, работы лишитесь, так что очень понимаю ваше беспокойство😁
Медленные сайты ни одна пс и пользователи не любят, готовьтесь
на их ботов это никак не влияет.