Все вопросы по robots.txt - 2

50
#351

Подскажите, пожалуйста

У меня сайт, где люди скачивают файлы. Идет статья, дальше ссылка на отдельную страницу, где только ссылка на скачку и немного описания. Все эти страницы в отдельной папке.

Например:

******.ru/statja, далее человек переходит на ******.ru/dl/statja.html

Я запретил индексацию папке dl:

User-agent: *

Disallow: /dl/

По сути теперь я могу забить на оптимизацию текста на странице /dl/statja.html? Пусть там абзацы отделены обычными br, без всяких ol ul списков и прочих тегов, пусть будет даже дубль контент или копипаст? Это никак не отразится на общем сео сайта?

53
#352

Приветствую форумчане! Подскажите как быть со страницами типа  engine/go.php, движок дле, в htacces стоят редиректы с index.php на сайт, а в robots.txt  Disallow: /engine/ недавно заметил что гугол проиндексировал 7 страниц не смотря на запрет в  robots.txt, я так понимаю страницы типа  engine/go.php это дубли, подскажите как сделать чтобы гугол не индексировал их?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий