Форум Практика оптимизации Любые вопросы от новичков по оптимизации

по robots.txt

XD
На сайте с 18.01.2010
Offline
4
xxDay.ru
359

есть сайт, двигается в 3х версиях (3 языка)

структура

site.ru -главная

site.ru/ru/ -главная

site.ru/en/ -главная по английски

site.ru/de/ -главная по немецки

site.ru/ru/articles/ - статьи по русски, site.ru/ru/articles/preved/, site.ru/ru/articles/medved/ и т.д.

как видно - есть дубли site.ru и site.ru/ru/

как прописать в роботсах, чтобы Яндекс и Гугл не индексировали site.ru/ru/, но индексировали site.ru/ru/articles/

если можно - пример скрипта.

спасибо.

Kislov
На сайте с 29.04.2006
Offline
185
Kislov
#1

User-agent: Yandex

Allow: /ru/articles/

Disallow: /ru

# разрешается /ru/articles/, все остальное с /ru/ запрещается.

http://help.yandex.ru/webmaster/?id=996567

Если я не ошибаюсь...

XD
На сайте с 18.01.2010
Offline
4
xxDay.ru
#2

спасибо, логично. а как сработает хз, боюсь чтоб не запретило все что с /ru/ :)

попробую сначала в /ru/articles/index.php noindex поставить

N
На сайте с 31.03.2009
Offline
85
Nikstar
#3

http://help.yandex.ru/webmaster/?id=996567

если не разберетесь, напишите в панель вебмастера, правда отвечают не быстро но мне ответили на подобный вопрос и указали как правильно сделать

постоянно в поиске строительных площадок под статьи и ссылки...
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4
xxDay.ru:
как прописать в роботсах, чтобы Яндекс и Гугл не индексировали site.ru/ru/, но индексировали site.ru/ru/articles/

Disallow: /ru/$

orphelin
На сайте с 02.07.2006
Offline
261
orphelin
#5
kimberlit:
Disallow: /ru/$

+1 за такой вариант. знак $ как раз для этого и придумали.

а вообще, можно еще 301 редирект сделать с site.ru на site.ru/ru/ либо наоборот.

sear4er
На сайте с 04.03.2010
Offline
756
sear4er
#6
orphelin:
+1 за такой вариант. знак $ как раз для этого и придумали.

а вообще, можно еще 301 редирект сделать с site.ru на site.ru/ru/ либо наоборот.

Согласен ... сделайте 301 с .ru/ru на .ru

Профессиональный SEO аудит с гарантией результата (форум). ( /ru/forum/824674 ) EVOLUTION SEO - Оптимизация, продвижение сайтов, вывод из под фильтров (личный сайт). ( https://evoseo.ru ) Бесплатные SEO консультации. ( https://evoseo.ru/seo-consultaciya/ )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий