Форум Сайтостроение Безопасность

настройка htaccess и Google-Site-Verification

flash12320
На сайте с 29.02.2016
Offline
74
flash12320
480

Кто может подсказать, есть вот такое правило в .htaccess запрещающее доступ без реферера и всем кроме поиск.ботов:

RewriteEngine On

RewriteCond %{HTTP_REFERER} ^$

RewriteCond %{HTTP:FROM} !(google|Google-Site-Verification|yandex|mail|rambler)

RewriteRule ^ - [F]

Робот гугла страницы сайта видит, карту сайта site.ru/sitemap.xml не видит, и Google-Site-Verification не может зайти на страницы сайта.

Как исправить правило, или дописать его как-то...

Вот ответ сервера: [19/Jun/2023:16:00:54 +0300] "GET / HTTP/1.1" 301 314 "-" "Mozilla/5.0 (compatible; Google-Site-Verification/1.0)" 3507 3851:0)

W1
На сайте с 22.01.2021
Offline
306
webinfo
#1
flash12320 :
Как исправить правило

Исправлять надо условие, а не правило.

Убери эту хрень: HTTP:FROM и напиши вместо этого  HTTP_USER_AGENT .

Мой форум - https://webinfo.guru –Там я всегда на связи
flash12320
На сайте с 29.02.2016
Offline
74
flash12320
#2
webinfo #:
HTTP_USER_AGENT

Действительно без 'этой хрени' заработало 💪

Спасибо

Виталий Литвинов
На сайте с 08.05.2008
Offline
117
Виталий Литвинов
#3
Ваше текущее правило .htaccess блокирует все запросы, которые не имеют HTTP_REFERER и не содержат определенных строк в HTTP_FROM. Это может быть проблемой для Google-Site-Verification и других ботов, которые не всегда отправляют HTTP_REFERER.
Вместо этого, вы можете попробовать использовать HTTP_USER_AGENT для идентификации ботов. Большинство поисковых ботов, включая Google, идентифицируют себя через HTTP_USER_AGENT.
Ваше новое правило может выглядеть так:

RewriteEngine On RewriteCond %{HTTP_REFERER} ^$ RewriteCond %{HTTP_USER_AGENT} !(google|Google-Site-Verification|yandex|mail|rambler) RewriteRule ^ - [F]


Перенос сайта на другой Как в htaccess запретить В выдаче подменили сайт

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий