Правильный ли такой robots (Drupal)?

idante
На сайте с 24.10.2012
Offline
70
585

Является ли правильным вот такой robots для drupal?

User-agent: *

# Files

Disallow: /cron.php

Disallow: /install.php

Disallow: /update.php

Disallow: /xmlrpc.php

# Directories

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /profiles/

Disallow: /scripts/

Disallow: /themes/

Disallow: /admin/

Disallow: /comment/

Disallow: /?q=comment/

Disallow: /filter/tips/

Disallow: /?q=taxonomy/

Disallow: /?q=node/

Disallow: /user/login?destination=forum/

Disallow: /user/login?destination=comment/reply/

Disallow: /node/

Disallow: /taxonomy/

Disallow: /node/add

Disallow: /search/

Disallow: /logout/

Dissalow: /section/

Disallow: /user/register/

Disallow: /user/login/

Disallow: /user/password/

Disallow: *register*

Disallow: *login*

Disallow: /profile/*

Sitemap: http://www.***.com/sitemap.xml

User-agent: Yandex

Host: www.***.com

User-agent: MSNBot

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: SolomonoBot

Disallow: /

IBakalov
На сайте с 05.10.2011
Offline
218
#1

Правилен тот robots.txt, который закрывает весь не нужный шлак... Лично у меня под друпал вот такая болванка:

Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/

Но опять же, подгоняется по необходимости

idante
На сайте с 24.10.2012
Offline
70
#2

А почему вы не стали закрывать

Disallow: /node/

Disallow: /taxonomy/

?

U
На сайте с 21.08.2014
Offline
34
#3

User-agent: *

Disallow:

Host: www.site.com

Sitemap: http://www.site.com/sitemap.xml

idante
На сайте с 24.10.2012
Offline
70
#4

не понял???

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий