WantNight

Рейтинг
26
Регистрация
22.02.2022
GuruSite24 #:

Все верно. Это как-бы логично.
Но как выше написал тот же Антоний, они спарсят те же фиды, пройдутся по ссылкам, Screaming Frog тот же запустят или аналогичный софт, и так далее.

Задача была: закрыть sitemap -  но оставить их для поисковых систем. Подсказка предоставлена, дальше пусть реализует.
ТС не писал что ему нужно скрыть карту сайта, чтобы не парсили сайт (для этого другие правила).
Про фиды ТС ничего не писал, но что мешает их тоже закрыть если таковые имеются? Весь клауд логируется.

Антоний Казанский #:
XML карта должна быть в свободном доступе.

Это Вы так решили?) На многих проектах закрываю карту для обычных юзеров.

Я такого же мнения, что и ТС. Карта и другие системные разделы (для ПС) должны быть закрыты и быть только для ПС.

Djezzy :
Подскажите как скрыть страницы карты сайта от посетителей, но оставить их для поисковых систем?  Нужно чтобы зайдя на страницу карты https://сайт.ru/sitemap_index.xml    посетители видели 404 ошибку, либо переадресацию на главную страницу. Сайт сделан на wordpres.

Ставите клауд, делаете правило для пропуска хороших ботов (по мнению клауда). Собираете логи.
Смотрите логи, AS сети Ваших поисковиков. Делаете правило чтобы sitemap был доступен только с этих сетей.

Все настраивается клаудом или другим решением в 2-3 правила.

Все работает. Если какой-то конкретный сервер не работает, смотрите почту и статус серверов контабо.
Это реклама по типу как в играх, посмотри рекламу, получи монетку. У Вас такого нет? Забудьте про это сообщение.

Требования к описанию награды: Издатели, размещающие объявления Google на инвентаре с вознаграждением, должны четко и точно сообщать следующее:
  • Требуемое действие (например, «Просмотрите это объявление, чтобы получить 100 золотых монет» или «Просмотрите это объявление, чтобы получить Меч убийства». ");


    Если простым языком, есть у Вас браузерная игра Агарио (владелец Вы). Там за просмотр рекламы давали очки, которые можно тратить на игру. Ну вот так можно.
    А деньги выдавать для покупки реального предмета, допустим футболки агарио (если у них есть такое) - нельзя. И передавать эту валюту нельзя. Ну и дальше по правилам новым.

Сколько людей готовы с 1 ноября отключиться на месяц от РСЯ? Сможем их шатануть? И вообще целесообразно так делать массово?
В любом случай я готов на такие тесты если нас будет хотя бы 20 человек, основа у меня Adsense, а трафик рушный около 15-17к / день.
Иван Комаров :

здравствуйте

для пары сайтов настраивал защиту CloudFlare и теперь робот AdSense не может прочесть на сайтах файл ads.txt

подскажите, как зовут робота AdSense , который проверяет ads.txt, или сеть AS для CF

спасибо

Покажите свои правила и мы укажем на ошибку.
Но если Вам лень разбираться, то сделайте так:

(http.request.uri contains "ads.txt" and ip.geoip.asnum in {15169})

Добавьте в самый вверх, разрешит боту гугл смотреть ads.txt

Кто куда ушел от РСЯ? Есть у меня чуйка, что пора, что-то менять..  так было со многими вещами.
Сентябрь был последний доходный месяц, дальше дно.

Если учитывать, что с осени по зиму доход всегда больше, и с гугла когда и рся был - всегда доход был больше.
Сейчас Adsense прет вверх, а РСЯ в 0.

Яндекс монополист и творит что хочет, стата вечно падает, фильтры, да и сами видите что доход режет.
Уж лучше выйти из РСЯ и зайти туда где, как бы принимают если акк не в бане РСЯ, чем так. Мб появились что-то годное?

havenrock #:
А боты эти откуда вообще берутся? Ещё и в таких количествах. Кому-то заняться нечем, ботов массово другим сайтам крутить или что?)

Коротко, Яндекс учитывает поведенческие факторы в своей выдачи.
Для этого накрутчики создают профили, нагуливают их на наших сайтах, затем используют эти профили для повышения своих сайтов по своим запросам.

Иван Комаров #:

на одном сайте до сих пор свыше 70% прямых заходов, по сравнению с трафиком из поисковых систем

для CF пропускаю все известные боты.

часть выявленных предварительно блокирую. правило выше , правила пропускающего известные  боты

таким образом, известные CF боты накручивают прямые заходы.

как узнать, что это за боты? какой программой смотреть логи,  какие логи или в CF это можно узнать?

Если вы уверены, что известные боты накручивают что-то Вам > То смотрите логи в клауде по этому правилу и сравнивайте с метрикой (время / страницу).
Или же закажите настройку правил у специалиста, который Вам все объяснит и отфильтрует.

softerra #:

Много интересного в логах, кроме обычных ботов для себя обнаружил.

Вот свеженькое, IP Бразилия, пытаются получить доступ. Забанил подсетки.

*****.ru 45.187.160.108 - - [07/Oct/2023:15:12:20 +0300] "GET /wp-login.php HTTP/1.0" 404 177170 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"

*****.ru 45.187.160.108 - - [07/Oct/2023:15:12:25 +0300] "POST /xmlrpc.php HTTP/1.0" 200 441 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"

Это решается правилом:

(http.request.uri.path contains "/wp-login.php") or (http.request.uri.path contains "/xmlrpc.php") в блок.

Не забудьте добавить айпи в исключения (или вашу страну) в правило или в раздел WAF - Tools.

Всего: 164