вопрос о файле robots.txt

101

телефон

12 октября 2007, 11:48

463

Вот такая задача!

смотрю файл robots.txt на домен без www, вижу одну иструкцию, смотрю для того же домен с www, вижу совсем другую инструкцию. Что то я запуталься. как можно поставить 2 разные robots.txt чтобы выдал разные файлы для домен без www и с www?

Да еще, домен с www показывает один сайт и тот же домен без www показывает совсем другой сайт.

1762

LEOnidUKG

12 октября 2007, 11:54

#1

Есть такие сайты, даже зарегистрированы на разных людей, помоему.

Помню есть вот такое:

http://volchat.ru/ и http://www.volchat.ru/

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/

176

Tj93

12 октября 2007, 12:33

#2

Леонид это как такое может быть чето ниче не пойму:))) Какая то подстава

Ссылки навсегда от создателей Miralinks! (http://gogetlinks.net/register_user.php?inv=5jktm0)

1762

LEOnidUKG

12 октября 2007, 12:41

#3

Tj93 Уже обсуждалось помоему: /ru/forum/comment/859096

173

john2007

12 октября 2007, 12:45

#4

Наверняка, разные сайты по www.domain.ru и по yyy.domain.ru у Вас удивления не вызовут. Почему у Вас вызывает удивление разные сайты по www.domain.ru и domain.ru?

Просто так повелось, что с www и без обычно отзывается один и тот же сайт (содержимое). Но это не обязательно, доменные адреса с www и без - разные, значит и сайты могут быть разные.

И даже в случае, когда с www и без www один и тот же сайт, даже физически папка одна и та же на сервере, robots.txt может быть разный.

Когда Вы оращаетесь по url (http://www.domain.ru/folder/file.ext) к какому-либо файлу (в том числе robots.txt), то в не зависимости от расширения файла (.txt или .gif или любое другое) в файле может быть скрипт, который выполняясь на сервере формирует содержимое страницы-ответа для клиента (Яндекса, например). Скрипт на сервере может определить по какому адресу был вызов - с www или без, и в зависимости от этого возвратить разное содержимое, например, robots.txt.

Совершая ошибки, мы не только учимся их не повторять, но и учимся прощать такие же ошибки другим... (с)

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Переиграть и победить: как анализировать конкурентов для продвижения сайта

VK приобрела 70% в структуре компании-разработчика red_mad_robot