Вот заголовки индексирующего бота Яндекса
Accept: text/html, application/pdf;q=0.1, application/rtf;q=0.1, text/rtf;q=0.1, application/msword;q=0.1, application/x-shockwave-flash;q=0.1, application/vnd.ms-excel;q=0.1, application/vnd.ms-powerpoint;q=0.1 Accept-Language: ru, uk, be, en, *;q=0.01 Connection: Keep-Alive Host: site.ru User-Agent: Yandex/1.01.001 (compatible; Win16; I) If-Modified-Since: Thu, 21 Jul 2005 23:30:06 GMT From: webadmin@yandex.ru
Если по какому-то урлу бот получит редирект (301, 302), то, в отличие от браузера, он вполне может пойти туда не сразу, а записать новый урл в базу и пойти в следующий раз.
Думается, что лучше всего использовать вот это:
http://httpd.apache.org/docs/1.3/content-negotiation.html
Клоакингом это не является, поскольку и бот, и бродилка с хедером Accept-language: ru получат одинаковый контент. То же самое для Accept-language: en.
Google Sitemaps вам в руки.
http://www.google.com/webmasters/sitemaps/siteoverview?hl=ru
А вы попробуйте, попробуйте :) Там не зря expression в условный комментарий (conditional comment) вставлен :)
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html xmlns="http://www.w3.org/1999/xhtml" lang="ru" xml:lang="ru"> <head> <title>test</title> <style type="text/css"> /* <![CDATA[ */ html, body { margin: 0; padding: 0; width: 100%; height: 100%; background: #fff; color: #000; } h1 { margin: 0; } #content { height: 100%; min-height: 100%; min-width: 800px; background: #ccc; } .padding { padding: 10px; } /* ]]> */ </style> <!--[if gte IE 5]> <style type="text/css"> /* <![CDATA[ */ #content { width: expression((documentElement.clientWidth||document.body.clientWidth) < 800 ? '800px' : '100%'); } /* ]]> */ </style> <![endif]--> </head> <body> <div id="content"> <div class="padding"> <h1>Тема: Спиральный лазер глазами современников</h1> <p>Сверхпроводник, по данным астрономических наблюдений, сжимает квантово-механический вихрь вне зависимости от предсказаний самосогласованной теоретической модели явления. В слабопеременных полях (при флуктуациях на уровне единиц процентов) лазер синфазно выталкивает спиральный гамма-квант, тем самым открывая возможность цепочки квантовых превращений. В литературе неоднократно описано, как сверхновая вращает элементарный гидродинамический удар, поскольку любое другое поведение нарушало бы изотропность пространства. Возмущение плотности непрерывно.</p> </div> </div> </body> </html>
Результаты: 1 - 100 из приблизительно 767 из домена sunray.com.ua
http://www.google.com/search?q=site:sunray.com.ua&num=100&hl=ru&filter=0
Указание прокси-серверу не кэшировать документ.
Можно в global.asa положить:
<script language="vbscript" runat="server"> Sub Session_OnStart Response.Status = "301 Moved Permanently" Response.AddHeader "Location", "http://www.site.ru/" ' заканчиваем сессию для того, чтобы при следующем запросе ' также сработало Session_OnStart Session.Abandon End Sub </script>
но учтите, что событие Session_OnStart будет вызываться только при запросе страниц, обрабатываемых asp.dll (App Mappings) - т.е. .asp по умолчанию. Для .htm, например, редирект не сработает.
Еще можно воспользоваться ISAPI-фильтром, например http://www.isapirewrite.com/ - аналог апачевского mod_rewrite.
Response.Status = "301 Moved Permanently"Response.AddHeader "Location", "http://www.site.ru"
Все новое - хорошо забытое старое :) Обратите внимание на год и авторов:
Добавил три штуки. Спасибо :)
