Не верная индексация.

User-agent: Yandex

Disallow: /cgi-bin

Host: mir-gruntov.ru

или

User-agent: Yandex

Disallow: /cgi-bin

Host: www.mir-gruntov.ru

Я всегда прописываю с www, но разницы никакой.

Единственное - раз яндекс сайт уже индексирует с www, лучше с www везде и оставить.

Символов больше:)

Ну и личные предпочтения бывают- подавай с www!

Сделал:

User-agent: Yandex

Disallow: /cgi-bin

Host: www.mir-gruntov.ru

____________________

Посмотреть:

http://www.mir-gruntov.ru/robots.txt

В htaccess стоит:

RewriteEngine On

RewriteRule (.*\.html$) /index.php?$1 [L,QSA]

php_flag register_globals 1

php_value error_reporting 7

RewriteEngine On

RewriteCond %{HTTP_HOST} ^mir-gruntov\.ru$ [NC]

RewriteCond %{REQUEST_URI} !^/robots\.txt$

RewriteRule ^(.*)$ http://www.mir-gruntov.ru/$1 [R=301,L]

Так ? Или нет? ))

Прочтите внимательно мой ответ (№7), и перейдите по ссылке...

Черным по белому написано, как для всех ПС склеить зеркала и написать правильным роботс!

Дают ответ людям, а не видят...

User-agent: Yandex

Disallow: /cgi-bin

Host: mir-gruntov.ru



User-agent: *

Disallow: /cgi-bin

Sitemap: http://mir-gruntov.ru/sitemap.xml

1. Карта есть, но она в html, на днях сделаю в xml - какой кстате лучше сервис для этого ?

2. А у меня уже склеены ? Это и есть редирект ?

3. Прочитал.

Получается:

Я хочу сделать основной www.mir-gruntov.ru

Значит в robots.txt пишу:

User-agent: Yandex

Disallow:

Host: www.mir-gruntov.ru

User-agent: *

Disallow:

Sitemap: http://www.mir-gruntov.ru/sitemap.xml

1) Верно ? А как надо - Disallow: /cgi-bin или Disallow: от чего зависет ?

в .htaccess Пишу:

Options +FollowSymLinks

RewriteEngine on

RewriteCond %{HTTP_HOST} ^mir-gruntov.ru

RewriteRule ^(.*)$ http://www.mir-gruntov.ru/$1 [R=301,L]

2) + это уже было. ОСТАВЛЯТЬ ?

RewriteEngine On
RewriteRule (.*\.html$) /index.php?$1 [L,QSA]
php_flag register_globals 1
php_value error_reporting 7

Заранее извиняюсь, что замучил вопросами, просто хочу для себя закрипить, как надо точно делать...

Если у Вас до 500 страниц, то чуть ли не самым популярным сервисом является http://www.xml-sitemaps.com/

Склеены в Яндексе домены будут только после того как специальный робот-зеркальщик придет на сайт (это ориентировочно месяц), ждите апдейта зеркальщика.

В Гугле склеятся быстрее - через панель веб-мастера Гугл добавьте оба сайта (с префиксом и без), а дальше в настройках сайта.

А редирект в кратце - это перенаправление с одного домена/страницы на другой(-ую).

Отлично. Странно, что вопросы остались.

Все верно

Строкой Disallow: Вы для роботов поисковой системы запрещайте что-либо индексировать.

Disallow: /cgi-bin - блокирует доступ к страницам начинающимся с '/cgi-bin'

Disallow: - ничего не запретили, то есть поисковые системы (ПС) могут индексировать весь сайт.

Подробнее об использовании Robots.txt

Угусь, тем самым вы поставили переадресацию с сайта http://mir-gruntov.ru на сайт http://www.mir-gruntov.ru. Чтобы убедиться в этом, попробуйте набрать в окне браузера http://mir-gruntov.ru, Вас перекинет на http://www.mir-gruntov.ru.

Вот тут не могу помочь, поскольку не знаю, зачем устанавливали вам эти строки.

А так:

RewriteRule (.*\.html$) /index.php?$1 [L,QSA] - сообщает, что индексом идет index.php, а не index.html

php_flag register_globals 1 - это показ ошибок

php_value error_reporting 7 - это глобальные переменные

Правильно делайте, что задаете вопросы. Это лучше, чем уйти так и не поняв ничего.

Огромное спасибо за помощь. Вы всё идеально описали ) Были бы у людей все такие ответы )) Я всё понял Спасибо )))

http://www.mir-gruntov.ru/sitemap.xml

Готово. Такого формата должен быть? На Русском ссылки не нужны ?

В Гугл Веб Мастер всё сделал.

/ru/forum/538286 - смогли бы помочь ответить и на этот вопрос ?

Какие ссылки на русском? - не понял...

Не пользуюсь подобными системами:)