Чтобы задать соответствие конечных символов URL-адреса, используйте символ $. Например, чтобы заблокировать доступ к URL, оканчивающемуся на .xls, используйте следующие строки:
User-agent: Googlebot Disallow: /*.xls$
Т.е для
acid777: Внутренних страниц огромное кол-во, но все урлы однотипны! page_75.htm page_76.htm и т д.
User-agent: Googlebot
Disallow: /page_*.htm$
С яндексом лопохнулся, но еще умеют читать так файл robots.txt только msn. Об остальных не слышал.
Лучше использовать Custom Fields.
Есть хороший плагин More Fields, который позволяет создать форму Custom Fields для удобного добавления.
А также в нем есть функция по удобному выводу данных полей.
Это можно сделать с помощью cfrom
Есть хороший бесплатный движок Open-Realty.
А деньги можно потратить на дизайн и внедрение.
Как можно оптимизировать вордпресс, чтобы снизить эту нагрузку?
1. Поставить WP Super Cache (http://wordpress.org/extend/plugins/wp-super-cache/). Он позволяет создавать статичные файлы для отдачи пользователям.
2. Поставить WP Tunel и можно будет найти запросы, которые тормозят (http://blogs.icta.net/plugins/tag/wp-tuner/)
Можно поставить товарные предложения по автотематике.
Если есть интерес, то тогда к нам http://mixmarket.biz
и в чем я был неправ?
User-agent: Googlebot
Disallow: /*.xls$
Т.е для
Внутренних страниц огромное кол-во, но все урлы однотипны!
page_75.htm
page_76.htm
и т д.
User-agent: Googlebot
Disallow: /page_*.htm$
С яндексом лопохнулся, но еще умеют читать так файл robots.txt только msn. Об остальных не слышал.
оставьте просто
Disallow: /page*
Не умеют роботы так читать... надо использовать регулярку
http://help.yandex.ru/webmaster/?id=996567#996572
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=40360
Можно поставить на все страницы мета-тег robots, в котором и запретить индексацию.
Могу порекомендовать товарную рекламу электроники или других товаров
В качестве примера могу порекомендовать посмотреть http://news.sportbox.ru/ (правая сторона, "Рекомендуемые товары")
Поисковики уже научились искать разнообразный скрытый текст с помощью CSS/JS и т.д.