Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots

ales
На сайте с 22.11.2006
Offline
54
ales
380

Помогите, пжл, правильно составить файл robots для яндекса, рамблера и гугла,

что сайт www.aaa.bbb.ru является зеркалом www.ccc.ru

И что сайт www.ccc.ru является первостепенным а сайт www.aaa.bbb.ru вспомогательным.

И можно ли туда на всякий случай добавить ключ, что сайт aaa.bbb.ru является зеркалом сайта ccc.ru и www.ccc.ru, или это уже лишнее...

И еще один вопрос: размещать надо в директориях обоих сайтов?

Заранее спасибо

а.я.

бюро переводов GG (http://www.globegroup.ru/) - один адрес для любых лингвистических услуг. Клуб любителей блинов - Мы спасем Россию!
ARCOS
На сайте с 15.09.2005
Offline
131
ARCOS
#1
размещать надо в директориях обоих сайтов?

Проще разместить файл .htaccess на зеркале с 301-ым редиректом, т.к. к директиве Host прислушивается только Яндекс.

T
На сайте с 11.08.2005
Offline
181
Timen
#2

Каждый день возникают подобные вопросы на форуме, уже даже FAQ сделали: /ru/forum/86666

Текст robots.txt. Файл нужно разместить в корневой директории всех сайтов (главного и зеркал), чтобы он был доступен по адресу: http://www.aaa.bbb.ru/robots.txt , http://www.ccc.ru/robots.txt 

User-agent: * 

Disallow: 



User-agent: Yandex 

Disallow: 

Host: www.ccc.ru
Timen (http://www.timen.com.ua/)
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
ales
На сайте с 22.11.2006
Offline
54
ales
#3
ARCOS:
Проще разместить файл .htaccess на зеркале с 301-ым редиректом, т.к. к директиве Host прислушивается только Яндекс.

А можно поподробнее рассказать о .htaccess в данном случае,

а то материалов много, а примеров мало.

Заранее спасибо

а.я.

ales
На сайте с 22.11.2006
Offline
54
ales
#4

А скажите, пжл, что тогда дает ключ "cgi-bin"

Disallow: /cgi-bin

Заранее извиняюсь, если вопрос может показаться глупым, я здесь, действительно, мало, что смыслю... )

Заранее спасибо

а.я

albion
На сайте с 07.10.2005
Offline
247
albion
#5
ales:
Disallow: /cgi-bin

запрет индексации всех адресов начинающихся с www.site.ru/cgi-bin , т.е. к индексации будет запрещена и директория /cgi-bin/ со всем файлами, и файлы, такие как /cgi-bin.html, /cgi-bin-script.html и т.д. (лижащие в корне сайта).

читайте http://robotstxt.org.ru

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий