Как спрятать не нужные блоки от google.com?

Можно запретить отдачу определённых файлов с контентом ботам через htacces.

Сейчас глянул сохраненную копию - там нет контента, который аяксом подключается (google.ru).

Применялась ли на практика данная идея?

---------- Добавлено в 06:44 ---------- Предыдущее сообщение было в 06:44 ----------

спасибо за информацию

Так вроде там всё элементарно, и не может не работать. Блокировка идёт по юзерагенту. Он и захочет получить содержимое, сервер ему не отдаст.

Вроде ищет. Кэш.

Может в robots.txt скрипты не закрыли?

Я вообще понять не могу, о чем вы тут говорите.

Вопрос от ТС:

Гугл индексирует аякс уже не один год.

В выдаче решетка аякса # заменяется на знак вопроса ?

В чем проблема закрыть страницу?

robots.txt

мета тег robots для большей надежности

У гугла целая справка как работать с аяксом

Получается можно просто закрыть страничку в robots.txt и добавить rel=noindex, nofollow и этого будет достаточно?

Nofollow и noindex лишняя работа, они от индексации страницу не спасут.

Лучший вариант и самый 100% работающий это к нужным страницам в код добавить тег:

Можете поставить и nofollow, но тогда робот дальше переходить никуда не будет.

А если сделать как я написал, то индексировать страницу он точно не будет, но переходить дальше по другим ссылкам на этой странице он продолжит. Сами решайте, как вам угодно.

У меня на сайте есть ссылка вида /download.php?.... Страницы по ссылке нет, по ней идёт скачивание файла. С первого дня в роботсе прописан запрет /download.php*, но каждый день гуглбот дёргает её.

Ну, а вдруг там что-то новое ;), ссылки, например.