Еще вопрос. Нужно запретить поисковым ботам кроме яндекса и гугла, индексировать блог, такой роботс составлен правильно?
Еще вопрос. Нужно запретить поисковым ботам кроме яндекса и гугла, индексировать блог, такой роботс составлен правильно?
User-Agent: *
Disallow: /
User-Agent: Yandex
Disallow:
User-Agent: Googlebot
Disallow:
User-agent: YandexBlog
Disallow:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: ваш сайт.ru