robots.txt – что это значит?

Очень похоже на паранойю. )))

Не знаю как эти, но бот яху 5-10 лет назад создавал реальную нагрузку на сервера с десятками тысяч страниц, ибо мощности тогда были совершенно иные.

-e robots=off

не, не слышали

User-Agent: Teleport Pro

Disallow: /

Это как я понимаю запрет на прогу телепорт которая копирует сайт на локал. Что бы не копировала сайт.

User-Agent: DISCo Pump

Disallow: /

Тоже качалка сайта.

Я думаю так защищают сайт от копирования.

Через роботс?

Я тоже подумал о копировании или от сеточных программ, но в силу неопытности решил спросить.

Фома:
Через роботс?

😂 Можно еще на сайте написать - "не капиравайце, пажалиста". Ну, для надежности. )))

Да невозможно так ничего защитить.

Хотите отбивать роботов-пауков-краулеров, то отбивайте их на уровне сервера по юзер-агенту.

Роботсом защищаться не то что глупо, а вовсе бессмысленно.

а для чего тогда в качалках есть настройка для парсинга сайта.

Не подчинятся фаилу роботс? ☝

А можно ссылку на этот сайт мне в личку кинуть? Интересно глянуть

Ну так это же обычная инструкция, которую можно выполнять, а можно не выполнять.

Ни о какой защите здесь речи быть не может.

Единственное, что если роботы полсушают инструкцию, то это может снизить нагрузку на сервер, если сайт усиленно парсят.

Но для защиты - только сервером отбивать.

Защита от школьников что ли?