Конечно нужно переходить на HTML 5 (выше Toy ответил), но и торопиться не надо, просто не все к этому готовы сегодня, на данный момент "идёт обкатка". ИМХО.
Вопрос не очень понятен, страница должна остаться на сайте или нет? Если просто убрать из индекса, то,
нужно установить на эту страницу мета-тег <meta name="robots" content="noindex" />
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=93710
http://help.yandex.ru/webmaster/?id=1111858
Если мета-тег невозможно прописать для отдельной страницы (из-за особенностей CMS), то запретить ее в robots.txt. Дальше только ждать переиндексации.
У меня в подписи. ;)
Это запись для почты для домена.
Должен быть достут к настройкам DNS, я как понял он у вас есть.;)
Имя: site.ru. (точка обязательна после .ru) или просто "собака" @
Тип: Запись SPF
Значение/адрес: v=spf1 ip4:**.**.**.** a mx ~all
** - это ip адрес домена, если не понятно, ну и возможно придется подождать обновления записей DNS.
Решается:
Т.е раньше можно было забить вместе с id все что угодно в url и новость откроется по этому адресу или переместили новости в другую категорию, а они также были доступны и в старой, и боты спокойно "бегали" везде. Сейчас эту проблему решили на уровне двига, новости открываютя только по заданному адресу, для всего остального редирект. Теперь не нужно заморачиваться с .htaccess и сторонними модулями.
Page, tags, catalog и архивы из другой оперы, достаточно закрыть в роботс или meta noindex поставить, если нужно.
И как заявляет разработчик в v.9.4:
Тег <embed> исключен в спецификациях XHTML 1.0 - 1.1 и HTML 3.2 - 4.01, поэтому и ругается валидатор. Тег не парный </embed> - лишнее.
http://htmlbook.ru/html/embed
DirectoryIndex index.php
Каким интересно образом?
9.4 ещё не вышел, это пресс-релиз. Примерно тока в понедельник выйдет (плюс минус), как обычно практика показывает. Так что исходного кода пока ни у кого нет.
WebAlt добавил 08.09.2011 в 02:51
Я не ТС, но отвечу так:
User-agent: * Disallow: /engine/go.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*rss Disallow: /*print Disallow: /page/ Disallow: /tags/ Disallow: /catalog/ Disallow: /2011/ Disallow: Sitemap: http://site.ru/sitemap.xml Host: www.site.ru
После pm по желанию запрещайте.
2011 - запрет календаря на текущий год.
Папку upgrade удалите.
autobackup.php переименуйте и не надо его в robots добавлять.
favorites не индексируется, смысла нет добавлять.
feedback.html - зачем? или в .htaccess редирект прописали? Оставьте только то на что есть ссылка в шабе.
Если используете в шаблоне print, то не запрещайте его в админ панели двига, т.к в ссылку nofollow добавляется, лучше в robots.
Ну, как то так. :)
