Лучше бы прочитали сначала http://help.yandex.ru/webmaster/?id=1108951
Да ладно, он и “негатив” про себя тоже показывает. Хотя, для передела сознания это не существенно, наверное.
Как-то так
но /ru/forum/695354
Ну давайте уж точные критерии незаспамленности.
И как долго они продержатся?
И даже не дополнения, а Хром не умеет ОффЛайн показывать XML с XSL-преобразованием.
А у ФФ, кроме исходного кода, есть возможность быстро смотреть т.н. живой HTML (результат выполнения скриптов и xslt), попробуйте в ФФ выделить какой-нибудь Директ, правый клик > просмотр кода выделенного фрагмента. В других браузерах это всё менее удобно.
Запрос xslt
Вторая позиция, вторая ссылка в цепочке ведёт на http://www.w3.org/TR но он отвечает 301 http://www.w3.org/TR/
Это только часть явно видимых... иллюстрация Их отношения к своим ляпам.
Искал корпорация добра
Нашлось habrahabr.ru/search/?q=....
Кэш... по состоянию на 15 май 2012
User-agent: Google
Crawl-delay: 2
Disallow: /search/
У роботса Last-Modified: Tue, 13 Mar 2012
Кэш роботса от 28 апр 2012
А сможете показать, что это относится и к коду, а не только к тексту?
Исключаются не знаки препинания
robots.txt содержит набор правил исключения из индексации.
http://help.yandex.ru/webmaster/?id=996567
Disallow: /?
http://www.google.ru/robots.txt
ps А тему надо было назвать:
Как корректно исключить из индекса часть страниц?
... без множественного числа.
А тему пора сводить к выявлению и классификации всех Я.косяков и описанию множества необходимых костылей... и предостережений.
