robots.txt – что это значит?

и что же помешает качать? ;) неужели Disallow: / ?! :D

это паранойя, причем бесполезная.

это не защита, а "акт устрашения" :D и самоуспокоения... :)

Alex Klo,

Хорошо , расмотрим такую ситуацию.

НА сайте прописан роботс и так же ява скриптом закрыта нажатие правой кнопки мышки и скопировать как не получится, код не увидеть.

Вопрос как тогда содрать сайт? или страницу

Это наверное стёб, да? 🍿

отключаем в броузере ява-скрипты и делаем, что надо.

телепорт, например. и вряд ли скрипты помешают.

видимо, это количество накопленных знаний... :(

Изо всех перечисленных, только ia_archiver читает robots.txt прежде, чем сделать копию страницы.

Остальные - его даже не смотрят, просто скачивают, и всё. Поэтому остальные ЮзерАгенты закрывать надо в .htaccess/httpd.conf или в движке сайта. Но поменять ЮзерАгента на "реальный браузерный" - пара пустяков, так что спасёт только от ленивых пионеров.