Все вопросы по robots.txt

Файл составил ,но Вот одна проблема, он не работает, т.е. не реагирует не на что ,например не перенаправляет с без www на www , вот сам файл ,что в нем не так?

Код:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Sitemap:

Host: www.interika-nn.ru

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^interika-nn\.ru$ [NC]

RewriteRule ^(.*)$ http://www.interika-nn.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ http://www.interika-nn.ru/ [R=301,L]

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^interika-nn\.ru$ [NC]

RewriteRule ^(.*)$ http://www.interika-nn.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ http://www.interika-nn.ru/ [R=301,L]

Это надо в .htaccess вставлять.

Не знаю, в каком разделе задать вопрос.

Есть сайт с технической тематикой. Небольшой, 50-60 страниц. Хорошо ранжируется в Гугле и Яндексе, 1200 уникальных посетителей в сутки.

Подключены блоки РСЯ (директ).

В начале января установил туда форум, просто папку forum в корневом каталоге сайта.

Зарегистрировались участники, нагенерировалась куча страниц с не совсем тематическим флеймом...

Мне показалось, что начали падать позиции в выдаче....

Закрыл Форум в robots.txt удалил всё из индекса Гугла и Яндеса в их сервисах Вебмастер. Вроде бы как позиции стабилизировались.

Форум разрастается, уже 1300 сообщений сомнительной тематики... злободневные темы, майдан... иногда мат-перемат...

Переживаю за сайт. Может сделать бэкап на другой домен с редиректом из шаблонов wievtopic_body, wievforum_body и переселить форум?

Опасаюсь, чтоб не упали позиции. Либо ещё какие подводные камни....

Или всё же форум не помешает тематическому сайту?

И ещё вопрос.

Можно ли в форум, запрещённый в роботсе, устанавливать блоки РСЯ ?

Вроде в правилах РСЯ по этому поводу ничего нет.

У меня вопрос:

Есть сайт с таким содержанием робота:

#

# robots.txt

#

# This file is to prevent the crawling and indexing of certain parts

# of your site by web crawlers and spiders run by sites like Yahoo!

# and Google. By telling these "robots" where not to go on your site,

# you save bandwidth and server resources.

#

# This file will be ignored unless it is at the root of your host:

# Used: http://example.com/robots.txt

# Ignored: http://example.com/site/robots.txt

#

# For more information about the robots.txt standard, see:

# http://www.robotstxt.org/wc/robots.html

#

# For syntax checking, see:

# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *

Crawl-delay: 10

# Directories

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /profiles/

Disallow: /scripts/

Disallow: /themes/

# Files

Disallow: /CHANGELOG.txt

Disallow: /cron.php

Disallow: /INSTALL.mysql.txt

Disallow: /INSTALL.pgsql.txt

Disallow: /INSTALL.sqlite.txt

Disallow: /install.php

Disallow: /INSTALL.txt

Disallow: /LICENSE.txt

Disallow: /MAINTAINERS.txt

Disallow: /update.php

Disallow: /UPGRADE.txt

Disallow: /xmlrpc.php

# Paths (clean URLs)

Disallow: *admin*

Disallow: /comment/reply/

Disallow: /filter/tips/

Disallow: /search/

Disallow: *user*

Disallow: *cart*

Disallow: *node*

# Paths (no clean URLs)

Disallow: *?q=admin*

Disallow: /?q=comment/reply/

Disallow: /?q=filter/tips/

Disallow: *?q=node*

Disallow: /?q=search/

Disallow: *?q=user*

Disallow: *?q=cart*

Хост тоже указан.

Скажите можно ли выбросить все что я выделил красным ниже:

#

# robots.txt

#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used: http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *

Crawl-delay: 10

# Directories

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /profiles/

Disallow: /scripts/

Disallow: /themes/

# Files

Disallow: /CHANGELOG.txt

Disallow: /cron.php

Disallow: /INSTALL.mysql.txt

Disallow: /INSTALL.pgsql.txt

Disallow: /INSTALL.sqlite.txt

Disallow: /install.php

Disallow: /INSTALL.txt

Disallow: /LICENSE.txt

Disallow: /MAINTAINERS.txt

Disallow: /update.php

Disallow: /UPGRADE.txt

Disallow: /xmlrpc.php

# Paths (clean URLs)

Disallow: *admin*

Disallow: /comment/reply/

Disallow: /filter/tips/

Disallow: /search/

Disallow: *user*

Disallow: *cart*

Disallow: *node*
# Paths (no clean URLs)
Disallow: *?q=admin*
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: *?q=node*
Disallow: /?q=search/
Disallow: *?q=user*
Disallow: *?q=cart*

И как правильно обращятся с адресами с чистым урл и "грязным"

В яндекс вебмастере после сегодняшенего апа появились дубли некоторых страниц:

Как запредить индексацию таких дублей?

404 отдавать

alexspb, как это прописать в роботс?

Ave Lecter, роботс тут не причем, это издевательство над ним

Должны правильно обрабатываться страницы на сервере и отдавать правильные заголовки.

Если есть

урл/

урл

либо это две разные страницы, либо по одному из адресов отдавать 404.

Сами урлы движком формируются или глюк Яндекса? (я сталкивался с таким - что в выдаче без / , хотя движок только со / формирует адреса).

Движком. Я просто разместил страничку, она с / (щас проверил). Но в ЯВМ есть две странички с / и без

В выдаче с /

Ave Lecter, настраивайте движок.

Через Ливхедер или сервисы проверяли заголовки?