Ага, и его бюджета :)
Именно, пока свободен, млин спалил :)
А разве вообще возможно такой домен открыть, да еще и в зоне com зарегистрировать, бред?
ТС, убей этот домен и зарегистрируй нормальный.
В whois есть :)
Должно быть так:
User-agent: *
Allow: /uslugi/
Allow: /contacts/
Disallow: /ru/
# запрещает скачивать все с каталога ru, кроме страниц начинающихся с '/uslugi/' '/contacts/'
User-agent: * Host: dle-news.ru
Я так закрываю:
User-agent: * Disallow: /index.php?* Disallow: /*rss Disallow: /user/ Allow: / Sitemap: http://www.site.ru/sitemap.xml Host: www.site.ru
Можно еще по своему желанию закрыть каталог, архив (тоже что и календарь) и теги, а можно вообще ничего не закрывать, дле прекрасно под пс заточен.
Страницы печати закрываются средствами двига, если старая версия, то Disallow: /*print
Все остальное ,что вы позакрывали/понаписали не имеет смысла, имхо.
The Internet Archive
http://help.yandex.ru/webmaster/?id=1111310
Яндекс не учитывает description, для вывода краткой информации используется контент страницы.
Гугл учитывает.
Спалили блоги, скоро будут в noindex.
