Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt для worpdress

12
K
На сайте с 02.01.2010
Offline
0
Keynok
#11

Еще вопрос. Нужно запретить поисковым ботам кроме яндекса и гугла, индексировать блог, такой роботс составлен правильно?


User-Agent: *
Disallow: /

User-Agent: Yandex
Disallow:

User-Agent: Googlebot
Disallow:


User-agent: YandexBlog
Disallow:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: ваш сайт.ru
G
На сайте с 18.12.2009
Offline
4
Gstuff
#12

Решил изменить Allow.

Вот конечный продукт)

Есть что добавить или убрать?

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml

Или надо закрыть?

Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/

И не надо ли добавить в роботс?


Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий