robots.txt Фейсбука

Да, не правильно понимаете, запрещен доступ всем поисковикам, кроме указанных выше.

Вот этого робота они хорошо потролили ))

https://archive.org/about/exclude.php

emariaru, видимо чтобы в архив не попадало ничего.

Спасибо за отзыв. Не могли бы Вы подкинуть ссылку, где можно об этом почитать. Сам погуглил, но специфической ситуации, как в данном случае, не нашел...

http://robotstxt.org.ru/