вообще-то, если существа из Яндекса и разрабатывали эту технологию с какой то благой великой целью , то точно не для AdSense, а для Яндекс.Директ ....
Вы логику включите. Зачем нужно было всех вебмастеров перетягивать на турбо? Наверное, что бы там кроме РСЯ ничего не стояло.
Гугл рекламы сейчас нет, турбо перестало быть актуальным.
После того как гугл закрыл рекламу в РФ, то пропали абсолютно все преимущества в сравнении с обычными страницами.
Думаю, что пока ситуация с гуглом не поменяется, Яндекс не будет реанимировать эту технологию.
Всем привет!
Какой плагин вы используете чтобы создать Sitemap.xml?
Я использую XML Sitemap Generator for Google, но что-то в недавнем обновлении – в версии 4.1.16 как-то криво он создается.
А может быть он уже и не нужен поисковикам в 2023 году?
Тоже везде использую XML Sitemap Generator for Google.
А что именно криво?
Подскажите, я не программист, в этом мало разбираюсь, как поставить в исключения сети 13238 и 208722 и как отключить IPV6 через api CF?
Переходы по ссылкам в основном из этих сетей: Metropolitan branch of PJSC MegaFon, JSC Rostelecom . Korporativniy Centr, YOTA - Moscow and Moskovskaya obl., North-West Branch of OJSC MegaFon Network, Mobile subscribers pool, Beeline-Moscow GPRS Firewall, Mobile TeleSystems, OJSC, MR North-West, но больше всего из первой в списке - Мегафона. Но с этой сети и реальные пользователи из поиска приходят.
Кждый день пара ботов из Германии с этой сети Hetzner Online GmbH заходят, как заблокировать эту сеть?
Добрый день. Подскажите, как можно заблокировать ботов? В htaccess заблокирована Биттерика. В CF вот такие правила:
1. Белые боты - Skip
(cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (ip.src eq мой айпи хостинга)
2. SSL/IPV6 - Block
(ip.src in {::/0} and not ip.geoip.asnum in {13238}) or (not ssl and not ip.geoip.asnum in {13238})
3. HTTP2+ - Block
(not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"} and not ip.geoip.asnum in {13238}) or (http.referer eq "" and not ip.geoip.asnum in {13238})
По этим 3 правилам CF блокирует больше 2000 ботов в сутки. Есть еще правило 4 блокировать парсеры и правило 5 блокировать по странам, но за неделю ни одного заблокированного бота нет.
Не заблокированные боты заходят по ссылкам с других непонятных сайтов, по крайней мере такое показывает метрика, и она их считает реальными людьми. Но никаких ссылок на сайт на других сайтах быть не должно, и в вебмастере их нет. Реальные люди приходят на сайт только из поиска яндекса, но сейчас сайт скатился на вторую страницу в поиске и реальных посетителей 30-40 в сутки, а ботов по ссылкам 150-200, в итоге отказы примерно 10%, среднее время на сайте меньше минуты. Получается, что CF блокирует больше 2000, но все равно эти 150-200 содают печальную картину.
На 1 скриншоте боты как юзеры, это данные метрики без роботов. На скриншоте 2 в CF в это время вообще не было этих посетителей, в СF только те, кого он заблокировал. CF почему-то не видит этих посетителей вообще. Бред какой-то. Что можно с этим сделать? Как их можно заблокировать?
1. Убираете проверки по user agent (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") и ставите в исключения сети 13238 и 208722.
2. Второе правило отключайте. Если хотите убрать IPV6 на сайте, то лучше отключите принудительно через api CF.
3. В третьем правиле я оставил проверку только пустого реферера, остальное считаю не актуальным.
По переходам по ссылкам на сайтах, рабочего решения нет. Можете посмотреть IP и AS сети эти визитов, если их не очень много, то добавьте эти сетки и IP в третье правило.
Нашел вот такой запрос. Футболки такие у меня есть, это считай брендовый запрос, но все равно странно выглядит
На запросы можете не обращать внимания. Накрутчики, чтобы обмануть ПС используют нейросеть для генерации уникальных ключей. Получается на каждый СЧ формируется еще пара сотен НЧ. Они конечно выглядят странно и никто в трезвой памяти такое вводить в поиск не будет.
Я раньше внимания не обращал, думая что какие то "недалекие" такие кривые запросы вводят, но потом проанализировав вебвизор за неделю нашел таких кривых НЧ на своем сайте, больше чем самый частотный ВЧ по России.
Ботнет и нейросети плодят миллионы "пустых" запросов, а Яндекс все эти данные хранит, сегментирует, анализирует... А потом еще в своих отчетах пишут об увеличении доли поиска по России...
