robots.txt нужно настроить

YAGR
На сайте с 06.07.2005
Offline
236
788

Добрый день, сеошнеги и к ним примкнувшие волею судеб :)

Есть двуязычный сайт:

site.com/ru/ - русская версия

site.com/en/ - английская версия (зеркало)

Кроме этого, сайт также доступен по рушному домену:

site.ru/ru/ - русская

site.ru/en/ - английская.

В роботсе нужно указать Яндексу кушать site.ru (главное зеркало), а Гуглу и прочим буржуям - site.com.

Как для этого правильно прописать robots.txt?

Новая RTB-сеть (https://advertur.ru/?rf=553bea1c5cd07610527382) - максимальный выкуп трафика. Успевай зарабатывать!
siv1987
На сайте с 02.04.2009
Offline
427
#1

На инглиш домене

User-agent: Yandex

Disallow: /

и так для гугла и прочих на русском

а роботсы да, подменять для каждого домена если они на одном акке висят

[umka]
На сайте с 25.05.2008
Offline
456
#2

Я бы сделал так

User-agent: Yandex

Host: site.ru

User-agent: Googlebot

Host: site.com

Хотя не уверен, воспринимает ли гугл и ему подобные директиву Host

[umka] добавил 27.09.2011 в 20:53

Вообще, мне кажется, можно просто оставить всё как есть, а поисковики сами разберутся, какую версию отдавать пользователю.

Главное, избавиться от дублей.

Например, просто редиректами

site.ru/en/ —> site.com

site.com/ru/ —> site.ru

Лог в помощь!
siv1987
На сайте с 02.04.2009
Offline
427
#3
umka:
Я бы сделал так

Это если гугл понимает директиву хост.

Там кажется можно указать зеркало через тулзы вебмастера.

YAGR
На сайте с 06.07.2005
Offline
236
#4
[umka:
;9472542]Я бы сделал так

User-agent: Yandex
Host: site.ru

User-agent: Googlebot
Host: site.com

Ну я так и предполагал. Но вот host - сугубо яндексовая фича.

[umka:
;9472542]Главное, избавиться от дублей.
Например, просто редиректами
site.ru/en/ —> site.com
site.com/ru/ —> site.ru

К сожалению, это невозможно. Разработчик по кр. мере так утверждает. Связано с архитектурой многоязычной.

С урла site.ru/ сразу же директит на site.ru/en/ (если браузер английский и IP) и на site.ru/ru/ (если браузер русский и IP)

Домены site.ru и site.com - абсолютные зеркала.

LO
На сайте с 13.12.2010
Offline
12
#5

Для сайта .ru

User-Agent: GoogleBot

Disallow: /

Для сайта .com

User-Agent: Yandex

Host: site.ru

Директиву Host понимает только Яндекс. Но даже в этом случае не гарантируется ее правильное прочтение. Если что, то вот здесь еще есть немного полезного (http://www.seoliston.ru/robots-txt-dlya-yandexa-i-vseh-vseh-vseh/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий