http://www.robotstxt.org/wc/meta-user.html
Это же для фанатов просто праздник какой то, ...
Просто смешно, типа как заклинание чтобы дождь полился, ...
А компрессия здесь при чем? Если робот при запросе не выдает согласие на сжатый документ то сервер обязан выдать документ без сжатия а если выдает и получает сжатый документ то сразу его распаковывает и отправляет дальше по обычному конвейеру на котором размер документа считается без сжатия.
Если не может то научим,
а если не хочет то заставим.
Табличная верстка есть в стандарте HTML для выделения логики документа причем не только для человека но и для механических распознавателей смысла так что если мягкие малыши ее не признают то от этого им лучше не будет а вот наоборот очень возможно.
www.Torgovka.com, бесплатные объявления.
Сейчас сайт расчитан на чисто текстовые объявления но можно добавить HTML или что понадобится, без переделки движка выдержит несколько миллионов объявлений и десятки запросов в секунду, индексация немедленная и сейчас я ваяю редактирование объявлений тоже в реальном времени.
Это зависит от интереса, сейчас брошу адрес частным посланием.
У меня уже сделана похожая программа, если модераторы разрешат то выложу адрес где она на сети с пояснениями.
Насколько я понимаю ничего веселого на Вашем домене не было, кто то его до Вас зарегистрировал и ничего не делал. Зато в стартовой странице Вашего сайта нашлась забавная строка, попробуйте ее снести и потом расскажете о результатах.
<meta name="robots" content="ALL">
Скупой платит дважды, ...