JavaScript в HTML в качестве аналога Include в PHP

Это вам никто не обещал. То что закрытая часть не ищется, не означает, что она не учитывается сейчас или в будущем.

Согласен, да это собственно и не является самоцелью. $.load - вполне себе INCLUDE и делает то что мне нужно.

Для закрытой части можно header отдавать

X-Robots-Tag: noindex

на сегодняшний день работает.

X-Robots-Tag: noindex

Не... Ayavryk имел ввиду что именно этот кусок в индекс не попадет. Но не факт, что его содержимое не будет учитываться в ранжировании документа в который этот кусок вставили.

А что значит «в индекс не попадет»?

Легко проверить можно поиск текста. Со ссылками всё уже не так легко... нахождение акцептора по тексту JS-ссылки — это только часть того, что нужно проверять про ссылки (но спамерюгам даже это лень).

Ну можете и так попробовать (в примерах с первой страницы темы такого нету. Скрипты, располагавшиеся в HTML-коде выполнялись. Смысл именно в выносе их в отдельный файл, прикрытый в роботсе).

И помните, что вы в любом случае лишь экспериментируете... поэтому не стесняйтесь проверять через несколько недель после индексации — что ищется, а что нет.

да нет, Ayavryk, я это понимал, просто для обсуждение узкой прикладной темы заданной ТС хватило бы 1-ой страницы ;) обсуждать то почти нечего - всё пережёвано тысячи раз и в вашем блоге то же.

но вот широкая задача поисковой оптимизация контента через AJAX + полный перенос интерактива на сторону клиента уже интересна. в смысле полной поддержки этой технологии со всеми возможными параллельными и перпендикулярными плюшками. особенно после недавнего появления ангуляра - вроде бы в заложенных в него принципах и нет ничего особо нового, но гугловская команда сумела поднять качественный уровень реализации

вот как бе об этом я речь и вёл....

Не контента, а сайта.

И не через AJAX (фактически JS), а через возможности клиента, вообще говоря. Например Яндекс.Почта пару лет использовала xslt на клиенте, памятник сему.

И показанные в теме примеры являются скорее образцом экстремизма (ну типа легко убрать всё повторяющееся, значит убираем всё). Может быть правильнее было бы не везде все менюшки от бота скрывать, а только часть... я бы на морде всё оставил.

Да, это и мел ввиду. Со скриптом я просто привел принцип, можно это в отдельный JS и его тоже прикрыть robots.txt. Короче, Вы правы - надо пробовать.

в аякс-оптимизации речь идёт о решении проблемы не уникального индексируемого контента прежде всего, так что всё более чем лигитимно. хотя это вроде бы должны быть понятные всем детали?

а я говорил не "вообще", а о своих интересах, о них то я наверное имею лучшее представление? XSLT давно исследован и несмотря на явные плюсы пока отложен - как только ПС подтянуться в его поддержке, наверное, тогда и посмотрим.

ничего экстремального, мощное раскрывающаяся меню по всей структуре сайта на любой странице (тем более на морде) легко угробит и тошнотность и даже тематичность. сайтмэп ещё никто вроде бы не запрещал, так что если уникализировать контент - так по полной программе...

А вот это мысль. Но это уже скорее из области джентльменского поведения по отношению к ПС. Мысль здравая, но хочется попробовать однотипный подход, для чистоты эксперимента.