какие папки запретить в robots.txt

0
На сайте с 17.10.2007
Offline
14
1119

Поставил сайт на движок, добавил в поисковики, потом вспомнил о запрете ненужных для ПС папок (слышал, что мусор попадая в индекс пессимизирует выдачу)..

Иерархия папок на сервере такая:

/

(папки)

___backup

___cgi-bin

___engine

___language

___mcinstall

___templates

___uploads

(файлы)

___.ftpquota

___.htaccess

___autobackup.php

___index.php

___robots.txt

Сайт на DLE. В robots.txt поставил запрет на папку engine (внутри есть подпапки, могу скинуть иерархию).. Не будет ли из-за этого проблем с индексацией?? И вообще у кого сайты на DLE может сказать, что нужно запрещать к индексации, а что нет?..

Всем отписавшимся по теме - спасибо

Drakasmit
На сайте с 21.05.2008
Offline
90
#1

http://datalife-engine.net/blog/hacks/36.html

Drakasmit добавил 11.07.2009 в 08:15

только там в конце, где написано "правильный роботс txt будет выглядеть так" бота яндекса нужно вверх перенести

Торт
0
На сайте с 17.10.2007
Offline
14
#2

Drakasmit, спасибо за оперативный ответ.. По ссылке нашел всю необходимую информацию

P
На сайте с 14.09.2007
Offline
57
#3

а про WordPress что нить подобное есть ?

Drakasmit
На сайте с 21.05.2008
Offline
90
#5

Psionic, http://pronfs.ru/robots.txt те поля что с /forum/ тебе не нужны.

[Удален]
#6
Drakasmit:
только там в конце, где написано "правильный роботс txt будет выглядеть так" бота яндекса нужно вверх перенести

Чухня там написана, в общем. :) Обсуждение и правильный вариант тут.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий