Закрыть #!

с # это ж якоря, насколько я понимаю. Зачем их закрывать?

url в состав которых входит "#", не индексируются.

знак "#" в файле robots может использоваться только для обозначения служебных комментариев, все что после него не учитывается, и потому не работает

Если вам (из каких-то неведомых соображений) нужны доп гарантии не индексации этих страниц, юзайте rel=canonical

смена адресов через htaccess, крайний случай - редирект.

https://www.google.com/search?q=site:searchengines.ru+inurl:hash&filter=0

http://yandex.ru/yandsearch?text=inurl:escaped_fragment

* подразумевает и /

т.е. должно хватить

Disallow: *_escaped_fragment_

Забавно.

А в индексе урл с #!hash

но бот у сервака спрашивает с ?_escaped_fragment_=hash или ?бла-бла&_escaped_fragment_=hash

в роботсе запретите _escaped_fragment_

Когда получится — напишите как.

они есть в вебмастере этого сайта

---------- Добавлено 23.02.2014 в 14:25 ----------

Можете поподробнее?

---------- Добавлено 23.02.2014 в 14:28 ----------

Правильно ли я вас понял, исправить на Disallow: *_escaped_fragment_

Dismissed, http://webmaster.yandex.ua/robots.xml, протестировать

богоносец, спасибо за ссылки. В свое время был здесь спор за индексацию url с #, и я как раз стоял за то, что, да – индексируются, потому как видел в индексе. Но набежали технари, заверили что это невозможно и потребовали пруф, я не нашел… пришлось менять позицию 😡

ПС

Dismissed, rel=canonical, в любом случае решает проблему

А с #hash не индексится. С #!hash только если не запрещено индексить урлы с _escaped_fragment_

это костыль для индексации AJAX.

Не знаю. Не приходилось...

всё зависит от того, на что смотрит delurl и т.п.

Может быть проще ответить 404 (301) на запрос с #! или _escaped_fragment_ или с ? если в правильных урлах параметров нету.