Много раз обсуждались боты из прямых заходов, с реферальным спамом (которые как реклама подгружаются), а про ботов переходящих из поисковой выдачи я тем не видел.
Тут многие уверены, что ботов из ПС не бывает. Сам раньше не анализировал ключи и страницы входа, думал что все, что из ПС - юзеры, а тут оказывается под 70% трафика - боты...
Но самое интересное тут другое, что накачивая ваш сайт "мусорными запросами" на информационные страницы, они сильно урезают трафик по коммерческим запросам. Вот это бы хотелось обсудить.
вообще-то, если существа из Яндекса и разрабатывали эту технологию с какой то благой великой целью , то точно не для AdSense, а для Яндекс.Директ ....
Вы логику включите. Зачем нужно было всех вебмастеров перетягивать на турбо? Наверное, что бы там кроме РСЯ ничего не стояло.
Гугл рекламы сейчас нет, турбо перестало быть актуальным.
После того как гугл закрыл рекламу в РФ, то пропали абсолютно все преимущества в сравнении с обычными страницами.
Думаю, что пока ситуация с гуглом не поменяется, Яндекс не будет реанимировать эту технологию.
Всем привет!
Какой плагин вы используете чтобы создать Sitemap.xml?
Я использую XML Sitemap Generator for Google, но что-то в недавнем обновлении – в версии 4.1.16 как-то криво он создается.
А может быть он уже и не нужен поисковикам в 2023 году?
Тоже везде использую XML Sitemap Generator for Google.
А что именно криво?
Подскажите, я не программист, в этом мало разбираюсь, как поставить в исключения сети 13238 и 208722 и как отключить IPV6 через api CF?
Переходы по ссылкам в основном из этих сетей: Metropolitan branch of PJSC MegaFon, JSC Rostelecom . Korporativniy Centr, YOTA - Moscow and Moskovskaya obl., North-West Branch of OJSC MegaFon Network, Mobile subscribers pool, Beeline-Moscow GPRS Firewall, Mobile TeleSystems, OJSC, MR North-West, но больше всего из первой в списке - Мегафона. Но с этой сети и реальные пользователи из поиска приходят.
Кждый день пара ботов из Германии с этой сети Hetzner Online GmbH заходят, как заблокировать эту сеть?
Добрый день. Подскажите, как можно заблокировать ботов? В htaccess заблокирована Биттерика. В CF вот такие правила:
1. Белые боты - Skip
(cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (ip.src eq мой айпи хостинга)
2. SSL/IPV6 - Block
(ip.src in {::/0} and not ip.geoip.asnum in {13238}) or (not ssl and not ip.geoip.asnum in {13238})
3. HTTP2+ - Block
(not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"} and not ip.geoip.asnum in {13238}) or (http.referer eq "" and not ip.geoip.asnum in {13238})
По этим 3 правилам CF блокирует больше 2000 ботов в сутки. Есть еще правило 4 блокировать парсеры и правило 5 блокировать по странам, но за неделю ни одного заблокированного бота нет.
Не заблокированные боты заходят по ссылкам с других непонятных сайтов, по крайней мере такое показывает метрика, и она их считает реальными людьми. Но никаких ссылок на сайт на других сайтах быть не должно, и в вебмастере их нет. Реальные люди приходят на сайт только из поиска яндекса, но сейчас сайт скатился на вторую страницу в поиске и реальных посетителей 30-40 в сутки, а ботов по ссылкам 150-200, в итоге отказы примерно 10%, среднее время на сайте меньше минуты. Получается, что CF блокирует больше 2000, но все равно эти 150-200 содают печальную картину.
На 1 скриншоте боты как юзеры, это данные метрики без роботов. На скриншоте 2 в CF в это время вообще не было этих посетителей, в СF только те, кого он заблокировал. CF почему-то не видит этих посетителей вообще. Бред какой-то. Что можно с этим сделать? Как их можно заблокировать?
1. Убираете проверки по user agent (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") и ставите в исключения сети 13238 и 208722.
2. Второе правило отключайте. Если хотите убрать IPV6 на сайте, то лучше отключите принудительно через api CF.
3. В третьем правиле я оставил проверку только пустого реферера, остальное считаю не актуальным.
По переходам по ссылкам на сайтах, рабочего решения нет. Можете посмотреть IP и AS сети эти визитов, если их не очень много, то добавьте эти сетки и IP в третье правило.
