Форум Поисковые системы Яндекс

HTTP_ACCEPT роботов?

Dwarf
На сайте с 06.10.2004
Offline
60
Dwarf
605

Здравствуйте, дамы и господа.

А кто может поделиться данными, какой хедер Accept у роботов поисковиков? Интересует прежде всего Яндекс, Рамблер и Гугл.

Сайт сделан на XHTML 1.0 (не тот, что в подписи :)), поэтому по этому хедеру отдается соответствующий Content-type, и есть еще заморочки с перекодировкой контента "на лету"...

Могу, конечно, и сам посмотреть, но это надо прихода роботов ждать :)

Деревянные окна (http://www.wood-win.ru/)
T
На сайте с 02.08.2005
Offline
2
Trueblack
#1

Неужто клоакинг затеваешь? 🚬

Эффективная реклама в интернете (http://www.admedia.ru), имиджевая реклама (http://www.admedia.ru), реклама на сайтах (http://www.admedia.ru), интернет-маркетинг (http://www.admedia.ru)
Dwarf
На сайте с 06.10.2004
Offline
60
Dwarf
#2

Неа :) Есть ISAPI фильтр, который умеет перекодировать "на лету" из windows-1251 в транслит. Т.е. при заходе на www.site.ru контент отдается в windows-1251, при заходе на trn.site.ru - в транслите. При этом фильтр проверяет отдаваемй Content-type и перекодирует только text/html.

Посему если робот скажет:

Accept: application/xhtml+xml

то сервер ему ответит:

Content-type: application/xhtml+xml

и фильтр это дело не перекодирует :( А хотелось бы.

Выяснилось по ходу дела, что Гугл передает вот что:

User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Accept: */*

:)

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Dwarf
На сайте с 06.10.2004
Offline
60
Dwarf
#3

Мдя...

А ведь Оперы и Gecko всякие тож в транслите не получат... :(

В общем, надо на trn.site.ru отдавать всем как text/html и не париЦЦа...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий