Сомневаюсь в правильности robots.txt и .htaccess

MV
На сайте с 28.02.2013
Offline
21
518

Здравствуйте. Немногим более месяца занимаюсь администрированием интернет-магазина. За это время поменялось значительное количество адресов страниц, а 14 числа вообще сменили главное зеркало с www на без www. Прогнозируемо упала посещаемость. Нормально - сижу жду переиндексации.

Беспокоит вот что. Регулярно добавляется товар, пишутся статьи, все сразу же добавляется в addurl и обновляется карта сайта, ведется регистрация в каталогах. Однако уже недели две не только не улучшается поисковая выдача, но и не меняется вообще количество проиндексированных страниц. Как замерло две недели назад на 4558, так и не в плюс, не в минус. Апдейты проходят, робот сайт посещает, а изменений нет. Посещаемость упала - владелец магазина беспокоится.

В связи с этим у меня возник вопрос. Возможно у меня в robots.txt или .htaccess стоит какой-нибудь запрет?

К сожалению, не являюсь специалистом в этой области. Буду весьма признателен, если человек знающий посмотрит эти файлы и укажет на ошибки, если таковые имеются. Если таковых на ваш взгляд нет - скажите - буду тогда сидеть на попе ровно и продолжать свою деятельность.

Сайт на друпале. Файлы скачал из и-нета. В их содержании практически не разбираюсь (особенно .htaccess). Поэтому лучше меня не спрашивать: "А почему это - так?" Лучше просто покажите - как!

Заранее благодарен!

[spoiler]

htaccess:

#

# Apache/PHP/Drupal settings:

#

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.tele-radio\.ru$ [NC]

RewriteRule ^(.*)$ http://tele-radio.ru/$1 [R=301,L]

# Protect files and directories from prying eyes.

<FilesMatch "\.(engine|inc|info|install|make|module|profile|test|po|sh|.*sql|theme|tpl(\.php)?|xtmpl|svn-base)$|^(code-style\.pl|Entries.*|Repository|Root|Tag|Template|all-wcprops|entries|format)$">

Order allow,deny

</FilesMatch>

# Don't show directory listings for URLs which map to a directory.

Options -Indexes

# Follow symbolic links in this directory.

Options +FollowSymLinks

# Make Drupal handle any 404 errors.

ErrorDocument 404 /index.php

# Force simple error message for requests for non-existent favicon.ico.

<Files favicon.ico>

# There is no end quote below, for compatibility with Apache 1.3.

ErrorDocument 404 "The requested file favicon.ico was not found.

</Files>

# Set the default handler.

DirectoryIndex index.php

# Override PHP settings. More in sites/default/settings.php

# but the following cannot be changed at runtime.

# PHP 4, Apache 1.

<IfModule mod_php4.c>

php_value magic_quotes_gpc 0

php_value register_globals 0

php_value session.auto_start 0

php_value mbstring.http_input pass

php_value mbstring.http_output pass

php_value mbstring.encoding_translation 0

</IfModule>

# PHP 4, Apache 2.

<IfModule sapi_apache2.c>

php_value magic_quotes_gpc 0

php_value register_globals 0

php_value session.auto_start 0

php_value mbstring.http_input pass

php_value mbstring.http_output pass

php_value mbstring.encoding_translation 0

</IfModule>

# PHP 5, Apache 1 and 2.

<IfModule mod_php5.c>

php_value magic_quotes_gpc 0

php_value register_globals 0

php_value session.auto_start 0

php_value mbstring.http_input pass

php_value mbstring.http_output pass

php_value mbstring.encoding_translation 0

</IfModule>

# Requires mod_expires to be enabled.

<IfModule mod_expires.c>

# Enable expirations.

ExpiresActive On

# Cache all files for 2 weeks after access (A).

ExpiresDefault A1209600

<FilesMatch \.php$>

# Do not allow PHP scripts to be cached unless they explicitly send cache

# headers themselves. Otherwise all scripts would have to overwrite the

# headers set by mod_expires if they want another caching behavior. This may

# fail if an error occurs early in the bootstrap process, and it may cause

# problems if a non-Drupal PHP file is installed in a subdirectory.

ExpiresActive Off

</FilesMatch>

</IfModule>

# Various rewrite rules.

<IfModule mod_rewrite.c>

RewriteEngine on

# If your site can be accessed both with and without the 'www.' prefix, you

# can use one of the following settings to redirect users to your preferred

# URL, either WITH or WITHOUT the 'www.' prefix. Choose ONLY one option:

#

# To redirect all users to access the site WITH the 'www.' prefix,

# (http://example.com/... will be redirected to http://www.example.com/...)

# adapt and uncomment the following:

# RewriteCond %{HTTP_HOST} ^example\.com$ [NC]

# RewriteRule ^(.*)$ http://www.example.com/$1 [L,R=301]

#

# To redirect all users to access the site WITHOUT the 'www.' prefix,

# (http://www.example.com/... will be redirected to http://example.com/...)

# uncomment and adapt the following:

# RewriteCond %{HTTP_HOST} ^www\.example\.com$ [NC]

# RewriteRule ^(.*)$ http://example.com/$1 [L,R=301]

# Modify the RewriteBase if you are using Drupal in a subdirectory or in a

# VirtualDocumentRoot and the rewrite rules are not working properly.

# For example if your site is at http://example.com/drupal uncomment and

# modify the following line:

# RewriteBase /drupal

#

# If your site is running in a VirtualDocumentRoot at http://example.com/,

# uncomment the following line:

# RewriteBase /

# Rewrite URLs of the form 'x' to the form 'index.php?q=x'.

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteCond %{REQUEST_URI} !=/favicon.ico

#RewriteRule ^store/(.*)/$ index.php?q=store&cat=$1 [L,QSA]

RewriteRule ^(.*)$ index.php?q=$1 [L,QSA]

RewriteCond %{REQUEST_URI} (.*/[^/.]+)($|\?)

RewriteRule .* %1/ [R=301,L]

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.domain.com$ [NC]

RewriteRule ^(.*)$ http://tele-radio.ru/$1 [R=301,L]

</IfModule>

# $Id$

Robots.txt:

User-agent: *

Crawl-delay: 10

Disallow: /database/

Disallow: /includes/

Disallow: /misc/

Disallow: /backlinks

Disallow: /modules/

Disallow: /themes/

Disallow: /scripts/

Disallow: /updates/

Disallow: /profiles/

Disallow: /xmlrpc.php

Disallow: /cron.php

Disallow: /CHANGELOG.txt

Disallow: /INSTALL.mysql.txt

Disallow: /INSTALL.pgsql.txt

Disallow: /INSTALL.txt

Disallow: /LICENSE.txt

Disallow: /MAINTAINERS.txt

Disallow: /UPGRADE.txt

Disallow: /update.php

Disallow: /install.php

Disallow: /index.php

Disallow: /admin/

Disallow: /comment/reply/

Disallow: /contact/

Disallow: /logout/

Disallow: /search/

Disallow: /user/register/

Disallow: /user/password/

Disallow: /user/login/

Disallow: /top-rated-

Disallow: /messages/

Disallow: /archiv

Disallow: /book/export/

Disallow: /user2userpoints/

Disallow: /myuserpoints/

Disallow: /tagadelic/

Disallow: /referral/

Disallow: /aggregator/

Disallow: /files/pin/

Disallow: /your-votes

Disallow: /comments/recent

Sitemap: http://tele-radio/sitemap.xml

Disallow: /*/edit/

Disallow: /*/delete/

Disallow: /*/export/html/

Disallow: /taxonomy/term/*/0$

Disallow: /*/edit$

Disallow: /*/outline$

Disallow: /*/revisions$

Disallow: /*/contact$

Disallow: /*downloadpipe

Disallow: /node$

Disallow: /node/*/track$

Disallow: /*&

Disallow: /*%

Disallow: /*?page=0

Allow: /*?page=

Disallow: /*?

Host: tele-radio.ru

[/spoiler]

Извините, хотел убрать в спойлер - не получилось)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий