Форум Сайтостроение Безопасность

Подскажите параметры Robots.txt от программ, которые полностью копируют сайт

S9
На сайте с 01.05.2021
Offline
39
Sannnia98
707

Подскажите параметры 🤝


Виктор Горняков
На сайте с 25.09.2006
Offline
175
Виктор Горняков
#1

Таких не существует.

Можете попробовать

User-agent: *
Disallow: /

и так

header("X-Robots-Tag: noindex, nofollow", true);

или  .htaccess 

SetEnvIfNoCase User-Agent .*curl.* bad_bot
SetEnvIfNoCase User-Agent .*python-requests.* bad_bot

Order allow,deny
Allow from allDeny from env=bad_bot
МСК серверы: VPS (VDS) CPU: ОТ 1 ЯДРА/RAM: ОТ 1024MB/SSD: ОТ 10 GB/+ МЕСТО ПОД БЭКАПЫ/IPV4: 1 ШТ от 104 ₽ в мес ---> https://bit.ly/qwartaru
Genius Ideaing
На сайте с 12.02.2024
Offline
69
Genius Ideaing
#2
Виктор Горняков #:
User-agent: * Disallow: /

и ваш сайт не то что копировать продолжат...

поисковые системы выкинут из индекса... 

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Мощный хостинг: https://clck.ru/3DKmVu / Есть Идеи! Ищу хороших людей для реализации этих идей! Мой Telegram: https://clck.ru/396JFF
alaev
На сайте с 18.11.2010
Offline
818
alaev
#3
Cloudflare ставь и блокируй парсеры.
Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
Genius Ideaing
На сайте с 12.02.2024
Offline
69
Genius Ideaing
#4
Sannnia98 :
Подскажите параметры

лучшие параметры для сайта, чтобы не копировали, cloudflare

Антоний Казанский
На сайте с 12.04.2007
Offline
734
Антоний Казанский
#5
Sannnia98 :
Подскажите параметры 🤝

robots.txt не контролирует и не ограничивает сайты. Запреты для отдельных имён парсеров не работают, это не более, чем рекомендации, парсеры все эти записи игнорируют.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий