Лучший способ продлить свою жизнь - это не сокращать её. ☝
Да с чего Вы вообще взяли, что сайт забанен???
Таков стандарт написания файла robots.txt. Даже если Вы не хотите ничего запрещать, правильнее будет указать пустой Disallow.
А с другой стороны, если не хотите, можете оставить всё как есть, против точно никто не будет...
Хозяин - барин!
Можно сказать - всё не правильно.
Во-первых, отсутствует директива Disallow, которая является обязательной с точки зрения стандарта написания роботса.
Во-вторых, директива Host применима только для робота Яндекса, и поэтому её стоит писать только в секции созданной для робота Я.
Так же не будет лишнем изучить FAQ по роботсу - Вся правда о robots.txt
Alex_IT, а что у Вас с robots.txt?
Ограничения на пользование ЛС.
"Пробитый кэш".
У многих? То есть не у всех? У кого-то, то есть обновляет, у кого-то - нет. Так?
А Вы говорите...
Не все йогурты одинаково полезны!
