http://www.isapirewrite.com/
ISAPI_Rewrite is a powerful URL manipulation engine based on regular expressions. It acts mostly like Apache's mod_Rewrite, but is designed specifically for Microsoft's Internet Information Server (IIS). ISAPI_Rewrite is an ISAPI filter written in pure C/C++ so it is extremely fast. ISAPI_Rewrite gives you the freedom to go beyond the standard URL schemes and develop your own scheme.
Обычно я частную переписку не цитирую но в таких случаях это надо делать.
Re: движок поисковой системы
Очень правильная бизнес модель.
http://www.robotstxt.org/wc/meta-user.html
Это же для фанатов просто праздник какой то, ...
Просто смешно, типа как заклинание чтобы дождь полился, ...
А компрессия здесь при чем? Если робот при запросе не выдает согласие на сжатый документ то сервер обязан выдать документ без сжатия а если выдает и получает сжатый документ то сразу его распаковывает и отправляет дальше по обычному конвейеру на котором размер документа считается без сжатия.
Если не может то научим,
а если не хочет то заставим.
Табличная верстка есть в стандарте HTML для выделения логики документа причем не только для человека но и для механических распознавателей смысла так что если мягкие малыши ее не признают то от этого им лучше не будет а вот наоборот очень возможно.
www.Torgovka.com, бесплатные объявления.
Сейчас сайт расчитан на чисто текстовые объявления но можно добавить HTML или что понадобится, без переделки движка выдержит несколько миллионов объявлений и десятки запросов в секунду, индексация немедленная и сейчас я ваяю редактирование объявлений тоже в реальном времени.
Это зависит от интереса, сейчас брошу адрес частным посланием.