Да там целый букет ссылок.
<a href="http://joomla-free.ru" id="dcdd">joomla-free.ru</a><noindex><script>document.getElementById("dcdd").style.display = "none"</script></noindex>
Все верно.
Если сервер выдаст ошибку 500, FollowSymLinks удали или закоментируй.
Э-э, тут споры шли по поводу пхп на юкозе, а htaccess там поддерживается?
User agent.
Флэш наверное тоже можно где-то подделать в настройках браузера.
http://help.yandex.ru/webmaster/
http://yandex.ru/yandsearch?text=%D0%BF%D1%80%D1%8F%D0%BC%D0%BE%D0%B9+%D0%BE%D0%B1%D0%BC%D0%B5%D0%BD+%D1%81%D1%81%D1%8B%D0%BB%D0%BA%D0%B0%D0%BC%D0%B8&
SeoNizator, не о том речь.
/ и /index.(php|html|cgi) - одна и таже страница. ТС и интересуется по поводу дублей как с ними быть, "клеить" через роботс или запретить.
В роботсе не клеится, а запрещается к индексации, насколько мне известно по яндекс хелпу.
Нужно.
Может быть недостаточно памяти на выполнения запроса.
Если нотепад++ удали знак доллара в конце
Найти: /download/.+?
+1 к роботс
В движках не всегда просто указать запрет метатегом для одной страницы
