А сможете показать, что это относится и к коду, а не только к тексту?
Исключаются не знаки препинания
robots.txt содержит набор правил исключения из индексации.
http://help.yandex.ru/webmaster/?id=996567
Disallow: /?
http://www.google.ru/robots.txt
ps А тему надо было назвать:
Как корректно исключить из индекса часть страниц?
... без множественного числа.
А тему пора сводить к выявлению и классификации всех Я.косяков и описанию множества необходимых костылей... и предостережений.
На ваших примерах есть текст, повторяющийся на всех страницах... можно было бы часть его скрыть от ПС.
Когда мне в поиске попадается страница с результатами поиска... то это может быть и хорошо. Но
1. Догадаются ли искатели что с этим дальше делать?
2. Как вы будете обновлять Last-Modified таких страниц поиска... если изменится/исчезнет какой-то из найденных результатов?
Напишите вопрос в ТП.
Вспомнился нестандартный ответ:
И обдумывать ... отсутствие возможности возникновения дублей-для-ПС... из разных способов сортировки.
Как запретить индексацию страниц сортировки.
/robots.txt
User-agent: * Disallow: /*? # если ? отсутствует в урлах основных страниц.
И ещё позапрещать
Disallow: /*.html/
Disallow: /*.php/
Disallow: //
Disallow: /*//
http://www.allave.ru////ocenka-nedvizhimosti.html/
HTTP/1.1 200 OK
У писателей движков и серваков... не было задачи сделать удобно (однозначно) для тупых ПС.
Там много лет глючит. И они уведомлены, но считают это мелочью... как и во многих нормальных конторах. И недавно стали заметны эксперименты молодой шпаны, обходящейся без глюкла старпёров.
Всё ещё хуже, чем... вам кажется.
Показали запрос Яндексу, посмотрел чего по нему в Гугле... это было утром, а тема в 11:05
Вообще, журналюгам должно понравиться.
Ищем одно слово яндекса.
Или цена яндекса.
А зачем её представлять в устаревших формах?
Источник найдёте?
Прямо перед тем, как сюда заглянуть...
пытался найти что-то подобное с теми сайтами, мягкие замечания на которых давеча снизили капитализацию Конторы.
А 20-го собирался переспросить про
Давайте спрогнозируем дату вероятной починки:
Раньше осени не исправят.
