Написание robots.txt в связи со сменой структуры сайта

Mrlighter
На сайте с 03.08.2010
Offline
25
687

Друзья, помогите, плыз. На данный момент на сайте происходит полная смена структуры URL (переход на транслит с русскоязыч. URL) и объединение двух ресурсов - основного и того, который ранее был на поддомене.

Как в таком случае должен выглядеть новый роботс.тхт?

Я правильно понимаю, что в нем должны присутствовать ТОЛЬКО новые URL, а от всех старых нужно избавиться? Просто отдел разработки зачем-то хочет оставить и старые, и новые URL.

Покупаю вечные ссылки с качественных сайтов по автомобильной тематике.
kimberlit
На сайте с 13.03.2007
Offline
370
#1
Mrlighter:
Я правильно понимаю, что в нем должны присутствовать ТОЛЬКО новые URL

В нём должны присутствовать URL, которые вы хотите запретить к индексации.

Stanok
На сайте с 26.04.2010
Offline
89
#2

Менять надо роботс полностью, оставить можно только директиву host.

Вот только по настройке вам я сочувствую, т.к. русскоязычные урлы интерпретирует браузер в тот вид который мы видим, т.е. УРЛ http://master.rucontext.com/%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8/inurl-%E2%80%93-%D0%BD%D0%BE%D0%B2%D1%8B%D0%B9-%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80-%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B2-%D1%8F%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0/ выглядит в браузере как

нттр://master.rucontext.com/новости/inurl-–-новый-оператор-запросов-яндекса, а вот в роботсе его придется прописывать с процентиками, как в первом варианте.

Пока не наделали глупостей, рекомендую все таки сделать ЧПУ обычным транслитом, они ничем не хуже

Mrlighter
На сайте с 03.08.2010
Offline
25
#3
Stanok:
Менять надо роботс полностью, оставить можно только директиву host.
Вот только по настройке вам я сочувствую, т.к. русскоязычные урлы интерпретирует браузер в тот вид который мы видим, т.е. УРЛ http://master.rucontext.com/%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8/inurl-%E2%80%93-%D0%BD%D0%BE%D0%B2%D1%8B%D0%B9-%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80-%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B2-%D1%8F%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0/ выглядит в браузере как
нттр://master.rucontext.com/новости/inurl-–-новый-оператор-запросов-яндекса, а вот в роботсе его придется прописывать с процентиками, как в первом варианте.

Пока не наделали глупостей, рекомендую все таки сделать ЧПУ обычным транслитом, они ничем не хуже

Спасибо. Как раз наоборот мы с русскоязычных "перелазием" на транслит, ибо то, что есть сейчас - жесть!

К сожалению, споры относительно написания нового robots.txt до сих пор не утихли. Основной вопрос - НУЖНО ЛИ прописывать в диссалоу старые урлы наравне с новыми??? Или достаточно ограничиться только новыми? Я за последний вариант, ибо считаю, что он более правильный. Зачем в новом роботс.тхт указывать старые урлы мне все-таки не понятно, хотя все настаивают на этом. Поправьте меня, пож-та, если я не права!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий