Как сис-админ заблокировал доступ поиску Гугла на мой сайт

87

Анти ДДОС

30 апреля 2024, 20:07

#11

yalol :

Потом в настойках clouflare я увидел блокировку ботов из США и Германии. Как только я отключил данную блокировку, как тут же Гугл увидел мой сайт.

Выводы: не стоит надеяться на программистов и разных специалистов, которых в инете тьма-тьмущая

А вы попробуйте обращаться к специалистам, а не бездумно копировать в интернетах написанные 12-той левой задней ногой лошади инструкции от таких же 5 минут назад услышавших слово Cloudflare. Если кто-то заявляет что он программист, сеошник, сисадмин, это вовсе НЕ означает, что он вообще что-то понимает за пределами своей основной специализации.

Хватило же кому-то сообразительности, поставить блокировку по стране. А бот Гугла откуда приходит на сайт, с планеты Нибиру?

Аналогично по другим отписавшимся. Не надоело по одним и тем же граблям прыгать?

(cf.client.bot) or (http.user_agent contains "Mail.RU_Bot")

Маилру уже 100 лет в обед поиск Яндекса использует, а этот кусок кода все кочует из инструкции в инструкцию, со словами - это только для примера. Лень читать тему на 100 страниц по Cloudflare здесь же на форуме. Все ищут волшебное средство чтобы за 2 минуты бац и сразу в дамки.

1

Помощь в фильтрации ботов через CloudFlare - Яндекс - Поисковые системы - Форум об интернет-маркетинге

2024.02.12
searchengines.guru

Решил сделать фильтрацию через CloudFlare по гайду Ивана Зимина, который мне порекомендовали в соседней ветке. если у кого-то есть актуальный гайд или просто подскажет. как адаптировать старый гайд под новые особенности CF

Защита сайта от ботов, настройка Cloudflare, поведенческие факторы, АнтиБот, DDoS - https://antiddos24.ru

Cloudflare стал выдавать сайту Боты заходящие через прямые Работа с Linkerom

214

yalol

30 апреля 2024, 20:15

#12

Анти ДДОС #:

А вы попробуйте обращаться к специалистам, а не бездумно копировать в интернетах написанные левой задней лапой на коленке инструкции от таких же 5 минут назад услышавших слово Cloudflare. Если кто-то заявляет что он программист, это вовсе НЕ означает, что он вообще что-то понимает за пределами своей основной деятельности.

Хватило же кому-то сообразительности, поставить блокировку по стране. А бот Гугла откуда приходит на сайт, с планеты Нибиру?

Так я и обратился к «спецу», и ничего не копировал. Про неправильную настройку увидел уже сегодня.

A7

2

alex750

30 апреля 2024, 20:47

#13

Анти ДДОС #:
Лень читать тему на 100 страниц по Cloudflare

конечно лень.

автору просто для примера будет, если захочет в правило вписать иной user_agent

15

Uncle 301

30 апреля 2024, 21:46

#14

yalol #:

Ага. Но я так всегда делал - сам-то я не программист, а больше контент-мейкер.

Да сейчас в целом и не надо быть супе-прошаренным сисадмином, чтобы самому разобраться. На крайняк можно FastPanel поставить и нормальный плагин кеширования выбрать, тогда не придётся никаких чужаков на сервер пускать.

TonyBlackberry #:
Недоступен для роботов гугла или всё-таки для подобных сервисов проверок?

Вот, кто прибегает при проверке страницы здесь https://pagespeed.web.dev/

66.249.81.39 - HIT [01/May/2024:00:33:56 +0300] site.ru "GET / HTTP/2.0" 200 10396 0.000 "-" "Mozilla/5.0 (Linux; Android 7.0; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Mobile Safari/537.36 Chrome-Lighthouse"
66.249.81.39 - HIT [01/May/2024:00:33:56 +0300] site.ru "GET / HTTP/2.0" 200 10396 0.000 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Safari/537.36 Chrome-Lighthouse"
66.249.81.37 - HIT [01/May/2024:00:34:00 +0300] site.ru "GET / HTTP/2.0" 200 10396 0.000 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Safari/537.36 Chrome-Lighthouse"
66.102.9.199 - HIT [01/May/2024:00:34:03 +0300] site.ru "GET / HTTP/2.0" 200 10396 0.000 "-" "Mozilla/5.0 (Linux; Android 7.0; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Mobile Safari/537.36 Chrome-Lighthouse"
66.249.81.38 - HIT [01/May/2024:00:34:03 +0300] site.ru "GET / HTTP/2.0" 200 10396 0.000 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Safari/537.36 Chrome-Lighthouse"
66.249.81.39 - HIT [01/May/2024:00:34:06 +0300] site.ru "GET /robots.txt HTTP/2.0" 200 183 0.000 "http://ghost-rider/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Safari/537.36 Chrome-Lighthouse"
66.102.9.199 - HIT [01/May/2024:00:34:07 +0300] site.ru "GET / HTTP/2.0" 200 10396 0.000 "-" "Mozilla/5.0 (Linux; Android 7.0; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Mobile Safari/537.36 Chrome-Lighthouse"
66.102.9.200 - HIT [01/May/2024:00:34:10 +0300] site.ru "GET /robots.txt HTTP/2.0" 200 183 0.000 "http://ghost-rider/" "Mozilla/5.0 (Linux; Android 7.0; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Mobile Safari/537.36 Chrome-Lighthouse"

Вот, кто прибегает, когда я отправляю страницу на переобход в SC

66.249.65.40 - HIT [01/May/2024:00:40:01 +0300] site.ru "GET / HTTP/1.1" 200 10409 0.000 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.6261.94 Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)"
66.249.65.40 - HIT [01/May/2024:00:40:01 +0300] site.ru "GET / HTTP/1.1" 200 10409 0.000 "-" "Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)"
66.249.65.40 - HIT [01/May/2024:00:40:01 +0300] site.ru "GET /robots.txt HTTP/1.1" 200 194 0.000 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.65.40 - HIT [01/May/2024:00:40:15 +0300] site.ru "GET / HTTP/1.1" 200 10409 0.000 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.65.40 - HIT [01/May/2024:00:40:17 +0300] site.ru "GET / HTTP/1.1" 200 10409 0.000 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.6367.91 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Т.е. не важно, идёт ли речь о сервисах типа Lighthouse или речь об индексирующем гуглоботе — и в том и в другом случае к вам на сайт прибежит «американец». У ТСа американцы выпилены в CF, спасибо добрейшей души фрилансеру, который гуглоботам не сделал исключение.

Модерация, которую мы заслужили https://ibb.co/L57tHRS 👍 👍 👍

Контекстную рекламу отключили из Страницы сайта долго грузятся Подскажите правильную последовательность действий

Яндекс Вебмастер вынес товарные фиды в отдельный раздел

Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта