nofollow и закрытие от индексации
(noindex) есть разные действия.
Искалки отнесутся к 5% страниц,
которые открыты для индексации.
Про остальные закрытые страницы
искалки не знают по определению.
То есть и трафа с искалок на
закрытые страницы не будет.
Если быть совсем точным,
то закрытые страницы могут
быть найдены по ссылкам.
Но вероятность мала.
Все ходы записаны.
Так лучше для всех.
Лучше в UTF-8 кодировке
на языке текста страницы.
Забудьте про искалки.
— Куда мне отсюда идти?
— А куда ты хочешь попасть?
— А мне все равно, только бы попасть куда-нибудь.
— Тогда все равно куда идти.
Куда-нибудь ты обязательно попадешь.
Это новый сайт со всеми последствиями,
то есть надо продвигать с самого начала.
Разные прилады сохраняют разными способами.
wget например сохраняет по умолчанию
с таким расширением, какое было на сайте.
И если сохранить много
файлов с взаимными линками,
а прилада переименует файлы,
то линки между файлами
не будут работать.
Он весь лишний.
Disallow без пути можно
понять разными способами.
Для ясности оставьте в файле
robots.txt одну пустую строку.
Не надо вводить роботов
(и себя) в заблуждение.
Выложите Ваш robots.txt в эту тему.
Для пользователя html лучше, потому что удобно
работать с файлом после сохранения на свою машину.
