Как запретить ИИ сканировать и ссылаться на свой сайт?

User-agent: Google-Extended

Disallow: /

User-agent: GPTBot

Disallow: /

User-agent: ChatGPT-User

Disallow: /

User-agent: CCBot

Disallow: /

User-agent: PerplexityBot

Disallow: /

User-agent: ChatGenie

Disallow: /

User-agent: Jasper.ai

Disallow: /

User-agent: AnthropicBot

Disallow: /

User-agent: anthropic-ai

Disallow: /

User-agent: Claude

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: Claude-Web

Disallow: /

User-agent: GPTBot

Disallow: /

User-agent: ChatGPT-User

Disallow: /

User-Agent: FacebookBot

Disallow: /

User-agent: PiplBot

Disallow: /

User-agent: Amazonbot

Disallow: /

User-agent: OmgiliBot

Disallow: /

User-Agent: omgili

Disallow: /

User-agent: cohere-ai

Disallow: /

User-agent: TurnitinBot

Disallow: /

User-agent: PetalBot

Disallow: /

User-agent: MoodleBot

Disallow: /

User-agent: magpie-crawler

Disallow: /

User-agent: ia_archiver

Disallow: /

User-Agent: YandexAdditional

Disallow: /

При этом следует понимать, что часть этих правил влияет на т.н. "быстре ответы от нейросети", которые присутствуют в серпе сразу после поисковой строки и дают некоторое количество трафика взамен на использование вашего контента не только для удовлетворения пользователя, но и для тренировки весов самой LLM.

UPD: можно реализовать по-другому - запретить сканы всем, кроме известных стандартных ботов-краулеров ПС. Опять же, от сотен появляющихся каждый год LLM не спасёт.