Форум Сайтостроение Веб-строительство

http://site.ru/robots.txt нету, http://www.site.ru/robots.txt есть

I
На сайте с 22.07.2011
Offline
3
iDe
668

http://site.ru/robots.txt нету, http://www.site.ru/robots.txt есть

В .htaccess установлен 301 редирект c site.ru на www.site.ru

Так же при добавлении сайта в Яндекс "Вебмастер", если я пишу www.site.ru он пишет:

Сайт является зеркалом site.ru, добавить site.ru

Вот том же Яндекс "Вебмастер" если перейти на "Анализ robots.txt" то пишет:

Не удалось загрузить robots.txt.

http://www.be1.ru/stat/?url=site.ru тоже не видет robots.txt, только с www видет.

Что можно сделать чтобы robots.txt был виден даже с редиректом на www?

[umka]
На сайте с 25.05.2008
Offline
456
[umka]
#1
iDe:
Что можно сделать чтобы robots.txt был виден даже с редиректом на www?

Не делать редирект, при условии, что спрашивают robots.txt

Лог в помощь!
I
На сайте с 22.07.2011
Offline
3
iDe
#2

[umka], я вот так сделал: 

<FilesMatch "robots.txt$"> 

RewriteEngine off 

</FilesMatch>

Но вот загвоздка, у меня два сайта на одинаковой системе, настроены одинаково, файлы robots.txt и htaccess одинаковы, но когда я хочу добавить сайт в панели вебмастера яндекса, то он мне дает добавить один сайт c www, а другой без www, почему не знаю, т.е. site.ru он пишет является зеркалом сайта www.site.ru и добить вы можете только www.site.ru, а второй сайт пишет наоборот что www.site2.ru является зеркалом site2.ru и дает добавить только site2.ru...почему так происходит, как мне www.site.ru добавить как www.site.ru ?

Повторю: Оба сайта на одной CMS, с одинаковыми robots.txt и htaccess и находятся на одном сервере.

Выбор главного зеркала для Google: дублирование ссылок в Как избежать аффилированности сайтов

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий