Ну давайте уж точные критерии незаспамленности.
И как долго они продержатся?
И даже не дополнения, а Хром не умеет ОффЛайн показывать XML с XSL-преобразованием.
А у ФФ, кроме исходного кода, есть возможность быстро смотреть т.н. живой HTML (результат выполнения скриптов и xslt), попробуйте в ФФ выделить какой-нибудь Директ, правый клик > просмотр кода выделенного фрагмента. В других браузерах это всё менее удобно.
Запрос xslt
Вторая позиция, вторая ссылка в цепочке ведёт на http://www.w3.org/TR но он отвечает 301 http://www.w3.org/TR/
Это только часть явно видимых... иллюстрация Их отношения к своим ляпам.
Искал корпорация добра
Нашлось habrahabr.ru/search/?q=....
Кэш... по состоянию на 15 май 2012
User-agent: Google
Crawl-delay: 2
Disallow: /search/
У роботса Last-Modified: Tue, 13 Mar 2012
Кэш роботса от 28 апр 2012
А сможете показать, что это относится и к коду, а не только к тексту?
Исключаются не знаки препинания
robots.txt содержит набор правил исключения из индексации.
http://help.yandex.ru/webmaster/?id=996567
Disallow: /?
http://www.google.ru/robots.txt
ps А тему надо было назвать:
Как корректно исключить из индекса часть страниц?
... без множественного числа.
А тему пора сводить к выявлению и классификации всех Я.косяков и описанию множества необходимых костылей... и предостережений.
На ваших примерах есть текст, повторяющийся на всех страницах... можно было бы часть его скрыть от ПС.
Когда мне в поиске попадается страница с результатами поиска... то это может быть и хорошо. Но
1. Догадаются ли искатели что с этим дальше делать?
2. Как вы будете обновлять Last-Modified таких страниц поиска... если изменится/исчезнет какой-то из найденных результатов?
Напишите вопрос в ТП.
Вспомнился нестандартный ответ:
И обдумывать ... отсутствие возможности возникновения дублей-для-ПС... из разных способов сортировки.
Как запретить индексацию страниц сортировки.
/robots.txt
User-agent: * Disallow: /*? # если ? отсутствует в урлах основных страниц.
И ещё позапрещать
Disallow: /*.html/
Disallow: /*.php/
Disallow: //
Disallow: /*//
http://www.allave.ru////ocenka-nedvizhimosti.html/
HTTP/1.1 200 OK
У писателей движков и серваков... не было задачи сделать удобно (однозначно) для тупых ПС.
Там много лет глючит. И они уведомлены, но считают это мелочью... как и во многих нормальных конторах. И недавно стали заметны эксперименты молодой шпаны, обходящейся без глюкла старпёров.
