multi-language сайт и индексирование

Sham
На сайте с 01.10.2005
Offline
16
930

Доброго времени суток.

Дано:

Cайт с поддержкой нескольких языков.

Многоязычность организована с помощью LCID всяких (ASP.NET) и все эти локализации сидят на одном домене.

Для тех кто не знает, первой в этом случае будет отдана локализация соответствующая настройкам бродилки (languages из хедера, кажется).

Вопрос следующий:

Как же тогда роботы его (этот сайт индексируют)?

У них тоже есть параметр languages и для каждого языка есть отдельный робот или как, что-то не пойму?

Домашние животные, покупка, продажа, вязка (http://petfront.ru), кошки (http://cats.petfront.ru), собаки (http://dogs.petfront.ru) - регистрируем питомники и питомцев.
Dwarf
На сайте с 06.10.2004
Offline
60
#1

Вот вам хедеры роботов:


Accept: */*
Connection: Keep-alive
Host: www.****.ru
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Accept-Encoding: gzip
From: googlebot(at)googlebot.com

Connection: Keep-Alive
Host: www.*****.ru
User-Agent: Yandex/1.01.001 (compatible; Win16; M)
From: webadmin@yandex.ru

Connection: close
Host: www.*****.ru
User-Agent: StackRambler/2.0 (MSIE incompatible)
From: search.support@rambler-co.ru


Accept: text/html, application/pdf;q=0.1, application/rtf;q=0.1, text/rtf;q=0.1, application/msword;q=0.1, application/x-shockwave-flash;q=0.1, application/vnd.ms-excel;q=0.1, application/vnd.ms-powerpoint;q=0.1
Accept-Language: ru, uk, be, en, *;q=0.01
Connection: Keep-Alive
Host: www.*****.ru
User-Agent: Yandex/1.01.001 (compatible; Win16; I)
If-Modified-Since: Thu, 21 Jul 2005 23:30:06 GMT
From: webadmin@yandex.ru

Accept-language передает только Yandex-I, остальные получат язык "по умолчанию".

Деревянные окна (http://www.wood-win.ru/)
Sham
На сайте с 01.10.2005
Offline
16
#2

а

Host: www.*****.ru

означает что индексируются только сайты рунета?

тогда для других зон есть другие роботы?

и еще в моем случае получается, что надо каждую локализацию вешать на отдельный домен?

ps: это для ясности

[Удален]
#3

Ключевые слова:

Dwarf:
получат язык "по умолчанию".

На самом деле роботы получат полную херню. Их надо кормить прямыми ссылками на все существующие языковые версии.

Тема - порваный баян. Тут был какой лохнесс который нагло убеждал меня, что роботы разберутся и все проиндексируют нормально. Итог: лохнесса нет, роботы так и неразобрались :))))!

Sham
На сайте с 01.10.2005
Offline
16
#4
MadCat:
Их надо кормить прямыми ссылками на все существующие языковые версии.

так в том и дело, что нет таких ссылок. есть одна страница (одна ссылка) которая в зависимости от Accept-Language выдает ту или иную локализацию.

Dwarf
На сайте с 06.10.2004
Offline
60
#5
Sham:
а
Host: www.*****.ru

означает что индексируются только сайты рунета?
тогда для других зон есть другие роботы?

и еще в моем случае получается, что надо каждую локализацию вешать на отдельный домен?

ps: это для ясности

Host: www.*****.ru означает только то, что роботов я ловил на сайте в зоне ru :) Учите матчасть:

http://www.ietf.org/rfc/rfc2616.txt

Не обязательно на домен. Можно что-то типа http://site.ru/default.aspx?lang=ru и т.д. - это уже на ваш выбор.

[Удален]
#6
Dwarf:

Не обязательно на домен. Можно что-то типа http://site.ru/default.aspx?lang=ru и т.д. - это уже на ваш выбор.

Угу. И желательно не только со своего сайта.

Sham
На сайте с 01.10.2005
Offline
16
#7

Всем спасибо, разобрался.

За матчасть особенно.

6666
На сайте с 10.01.2005
Offline
505
#8

MadCat, будет ругаться, но все равно спрошу, а не проще и удобнее для юзеров и роботов сделать иноязычные версии на сабдоменах?

И еще плюс - сам меньше запутаешся.

Каждое мое сообщение проверила и одобрила Елена Летучая. (c) Для меня очень важно все что Вы говорите! (http://surrealism.ru/123.mp3) .

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий