robots.txt Закрывать от индексации?

O1
На сайте с 30.03.2012
Offline
0
908

Доброго все дня!

Подскажите пожалуйста такую вещь:

В интернет магазине на главную выведены некоторые товары, при переходе на которые мы попадаем на страницу, которая содержит ссылку вида -

mysite.ru/tovar/televisors/product/camtovar

А если я нажимаю на товар из категории телевизоры, то попадаем на ссылку вида -

mysite.ru/tovar/televisors/frontpage/camtovar

Фаила robots.txt на сайте нет, вот хотел бы узнать, как правильно сделать, просто закрыть от индексации /frontpage/ или как то можно использовать параметр Clean-param?

Написал пока так:

User-agent: Yandex

Disallow: /admin

Disallow: /frontpage

Host: www.mysite.ru

User-agent: Googlebot

Disallow: /admin

Disallow: /frontpage

User-agent: *

Crawl-delay: 2

Disallow: /admin

Disallow: /frontpage

M
На сайте с 19.01.2012
Offline
31
#1

Закрыть от индексации неправильно - есть возможность потерять ссылочный вес на большом проекте. Идеальный вариант - 301-редирект

Да и для гугля роботс не указ. Гугл что хочет индексирует.

O1
На сайте с 30.03.2012
Offline
0
#2

т.е. в файле .htaccess я могу прописать так:

RedirectPermanent /frontpage http://www.mysite.ru/product/

и тогда весь frontpage при нажатии будет переходить на правильную страницу?

А для гугла что неправильно? Надо поставить / в конце?=) И если использовать редирект, в робот.тхт надо что то писать?

kimberlit
На сайте с 13.03.2007
Offline
370
#3
obidka1978:
Disallow: /frontpage

Disallow: */frontpage/

---------- Добавлено 30.03.2012 в 17:32 ----------

obidka1978:
Disallow: /frontpage

Disallow: */frontpage/

SeVlad
На сайте с 03.11.2008
Offline
1609
#4
matuzel:
Да и для гугля роботс не указ. Гугл что хочет индексирует.

Фантазии или есть конкретные факты?

obidka1978:
вот хотел бы узнать, как правильно сделать, просто закрыть от индексации /frontpage/ или как то можно использовать параметр Clean-param?

Cсылка для разобраться в вопросе.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
O1
На сайте с 30.03.2012
Offline
0
#5

Ну а все таки как грамотнее сделать, править робот.тхт или 301 редирект в .htaccess

M
На сайте с 19.01.2012
Offline
31
#6
SeVlad:
Фантазии или есть конкретные факты?

Вы чиали то что мне дали?

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс.
🍿

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag.

🍿

Кстати - показывали пример на форуме недавно - яндекс тоже будет индексировать запрещенный в роботс.тхт если на урл стоят внешние ссылки 🍿

---------- Добавлено 30.03.2012 в 12:46 ----------

obidka1978:
Ну а все таки как грамотнее сделать, править робот.тхт или 301 редирект в .htaccess

Redirect 301 /1.html /2.html

Перенапрявляет с 1.хтмл на 2хтмл

SeVlad
На сайте с 03.11.2008
Offline
1609
#7
matuzel:
Вы чиали то что мне дали?

Принимается :)

Но читаем абзац полностью

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Иначе говоря если текст ссылки на чужом сайте будет более релевантен запросу, чем содержимое разрешённых страниц, тогда этот линк может быть будет в выдаче.

И ещё не надо забывать про каноникал.

Конечно не суть случая.. главное что да, имеет место быть и в индекс может попасть.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий