Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как вам такой robots.txt

S2
На сайте с 19.02.2011
Offline
52
Stream2020
426

User-Agent: *

Crawl-delay: 2

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: */comment-page*

Disallow: /author*

Disallow: /category/*/*

Disallow: /*?*

Disallow: /*?

Disallow: /wp-login.php

Disallow: /xmlrpc.php

Allow: /wp-content/uploads

Host: ********.info

Sitemap: http://******.info/sitemap.xml

iren K
На сайте с 28.12.2008
Offline
222
iren K
#1
Stream2020:
User-Agent: *
Crawl-delay: 2
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page*
Disallow: /author*
Disallow: /category/*/*
Disallow: /*?*
Disallow: /*?
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Allow: /wp-content/uploads

Host: ********.info
Sitemap: http://******.info/sitemap.xml

плохо, много ошибок: исправьте..

c уважением Iren
S2
На сайте с 19.02.2011
Offline
52
Stream2020
#2

iren K Не могли бы направить на нужную мысль, пожалуйста

K
На сайте с 31.01.2001
Offline
737
Kost
#3

Перед Host уберите пустую строку.

Звездочки на конце Disallow не нужны.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
den78ru
На сайте с 12.04.2006
Offline
396
den78ru
#4

Пожалуйста

Люди не делятся на национальности, партии, фракции и религии. Люди делятся на умных и дураков, а вот дураки делятся на национальности, партии, фракции и религии.
S2
На сайте с 19.02.2011
Offline
52
Stream2020
#5

Подправил, получилось вот так. Оцените пожалуйста. Учел все рекомендации

User-agent: YandexBlog

Disallow:

User-Agent: Yandex

Crawl-delay: 2

Allow: /wp-content/uploads

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-login.php

Disallow: /xmlrpc.php

Disallow: */trackback

Disallow: */feed

Disallow: */page

Disallow: */comments

Disallow: /category

Disallow: /author

Disallow: /*?*

Disallow: /*?

Host: *****.info

User-Agent: *

Allow: /wp-content/uploads

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-login.php

Disallow: /xmlrpc.php

Disallow: */trackback

Disallow: */feed

Disallow: */page

Disallow: */comments

Disallow: /category

Disallow: /author

Disallow: /*?*

Disallow: /*?

Sitemap: http://******.info/sitemap.xml

K
На сайте с 31.01.2001
Offline
737
Kost
#6
Stream2020:
Disallow: /*?*
Disallow: /*?

Эти две дублируют друг друга, первую можно удалить.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий