Помогите с установкой и настройкой robots.txt и .htaccess

Если основное зеркало - www.sait.ru, в robots.txt пишите:

User-agent: *

Disallow: / *закрывает путь к файлу или папке для индексации*



User-agent: Yandex

Disallow: / *закрывает путь к файлу или папке для индексации*

Host: www.sait.ru



Sitemap: http://www.sait.ru/sitemap.xml *путь к карте сайта, если есть*

Как составить robots.txt читайте здесь.

Чтобы поставить 301-й редирект с sait.ru на www.sait.ru, в файле .htaccess добавляете строчки:

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_HOST} ^.sait\.ru$ [NC]

RewriteRule ^(.*)$ http://www.sait.ru/$1 [R=301,L]

master_jeday, спасибо большое Вам за ответ, у меня есть ещё вопрос.

User-agent: * - это для всех роботов? если да то чего мы прописываем Host: www.sait.ru только яндексу?

Если мне не надо ничего закрывать от индексации Disallow: так должен выглядеть? Без /?

У меня на сайте 3 части заинклюжены, инклюды хранятся в папке include стоит ли эту папку запрещать к инексации? И есть папка с скриптом опроса эту папку тоже запретить?

Alkoshenko добавил 14.02.2011 в 00:07

вот сделал .htaccess вродебы всё работает

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^gistoryja\.ru$ [NC]

RewriteRule ^(.*)$ http://www.gistoryja.ru/$1 [R=301,L]



RewriteEngine On

RewriteCond %{REQUEST_URI} ^/index\.(.+)$

RewriteRule ^.*$ http://%{HTTP_HOST}/ [R=301,L]



ErrorDocument 404 /404.jpg 

Сделал robots.txt

Правильно?

User-agent: *

Disallow: /sendmail/

Disallow: /opr/



User-agent: Yandex

Disallow: /sendmail/

Disallow: /opr/

Host: www.сайт.ru

Sitemap: http://www.сайт.ru/sitemap.xml 

Верно.

Директиву "Host" "понимает" только Яндекс, поэтому, во избежание ошибок сканирования другими пауками, этот атрибут назначают только роботу Яндекса.

Атрибут "Disallow" запрещает индексирование всего сайта (Disallow: /), папки (Disallow: /category/), страницы (Disallow:/category/list.html) или же сходных путей (Disallow: /category?do=) Если запрещать к индексации ничего не требуется, данная директива просто не указывается.

Не знаю, тут смотрите сами: если эти страницы индексировать не требуется, то запрещайте.

Все правильно. Только если перед последними строчками:

RewriteEngine On

RewriteCond %{REQUEST_URI} ^/index\.(.+)$

RewriteRule ^.*$ http://%{HTTP_HOST}/ [R=301,L]

нет значка #, то эти три последние строчки нужно удалить, хотя не уверен:).

А эти:

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^gistoryja\.ru$ [NC]

RewriteRule ^(.*)$ http://www.gistoryja.ru/$1 [R=301,L]

оставить.

Структура верная, только между строками "Host:" и "Sitemap:" указывается пустой перевод строки. То есть, так:

User-agent: *

Disallow: /sendmail/

Disallow: /opr/



User-agent: Yandex

Disallow: /sendmail/

Disallow: /opr/

Host: www.сайт.ru



Sitemap: http://www.сайт.ru/sitemap.xml

Спасибо большое за консультацию :)

Всётаки есть отзывчивые люди.

Есть ещё небольшой вопросик :o

При создании карты сайта здесь xml-sitemaps.com

какие настройки использовать?

Change frequency?

Last modification?

Priority?

Заранее спасибо!:)

Используйте все вышенаписанное.

Нет, там просто в каждо пункте есть выбор, а я не знаю что выбирать да ещё с английским не дружу)

Я вообще сервисами по генерации карт не пользуюсь (такая функция предусмотрена в используемом мной движке), но, по логике, при выборе данных опций будет отображаться следующее:

Change frequency - <changefreq>периодичность обновления, для робота</changefreq>

Last modification - <lastmod>дата последнего изменения страницы</lastmod>

Priority - <priority>приоритет страницы для робота</priority>

Ну, и <loc>урл страницы</loc> - просто не может не генерироваться:).

Спасибо большое! :)