В whois есть :)
Должно быть так:
User-agent: *
Allow: /uslugi/
Allow: /contacts/
Disallow: /ru/
# запрещает скачивать все с каталога ru, кроме страниц начинающихся с '/uslugi/' '/contacts/'
User-agent: * Host: dle-news.ru
Я так закрываю:
User-agent: * Disallow: /index.php?* Disallow: /*rss Disallow: /user/ Allow: / Sitemap: http://www.site.ru/sitemap.xml Host: www.site.ru
Можно еще по своему желанию закрыть каталог, архив (тоже что и календарь) и теги, а можно вообще ничего не закрывать, дле прекрасно под пс заточен.
Страницы печати закрываются средствами двига, если старая версия, то Disallow: /*print
Все остальное ,что вы позакрывали/понаписали не имеет смысла, имхо.
The Internet Archive
http://help.yandex.ru/webmaster/?id=1111310
Яндекс не учитывает description, для вывода краткой информации используется контент страницы.
Гугл учитывает.
Спалили блоги, скоро будут в noindex.
Ошибка 404 обозначает, что запрошенному вами URL не соответствует никакая страница сайта. Этому могут быть две причины: ссылка неверна или ранее существовавшая страница была удалена.
У меня как у "ВМ" на одном сайте стоит разделитель точкой и получаются ссылки вида:
#a#анкор#/a#. (если ссылки на странице две подряд идут, то одна с точкой, другая без)
Так что необязательно, что это только "О" ставят точки. 🚬
1. Установите "Метод проверки": Мета-тег, вставьте код и подтвердите права, файлы возможно .htaccess блокирует.
2. Сайт еще не проиндексирован ни одной ПС.
3. Добавьте сайт сюда, если еще не добавлен:
http://yadd.ru/
http://www.google.com/addurl/?continue=/addurl
По пингу я проблем не заметил.
