Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Служебные директивы в robots.txt

КС
На сайте с 27.04.2009
Offline
30
крошка_сеошка
613

Добрый день. Вопрос о целесообразности добавления служебных директив в роботс

Например, следующие строки, на мой взгляд, не нужны 


Disallow: /database/

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /sites/

Disallow: /themes/

Disallow: /scripts/

Disallow: /updates/

Disallow: /profiles/

Disallow: /xmlrpc.php

Disallow: /cron.php

Disallow: /update.php

Disallow: /install.php

А вы закрываете такие разделы от индексации? :confused:

F
На сайте с 16.01.2010
Offline
267
futuristian
#1

Телепаты в отпуске.

Откуда мы можем знать нужны они вам или нет? Если разработчик CMS указал их, значит они имеют смысл быть, если же вы сами где-то бездумно скопировали с чужого сайта, то они вам не нужны.

Добавить дроп с ТИЦ сколько такая работа может Поисковики не индексируют
КС
На сайте с 27.04.2009
Offline
30
крошка_сеошка
#2

да в том то и дело, что для разработчика цмс папки "темы" или "модули" имеют смысл, а для посетителей сайта их нет - нет ни одной ссылки на документы в этих папках. пока не нашла смысла их закрывать :-)

АП 20 - 21 Продам места под баннеры robots.txt Разъясните пожалуста?
F
На сайте с 16.01.2010
Offline
267
futuristian
#3
крошка_сеошка:
для разработчика цмс папки "темы" или "модули" имеют смысл

Вот вы и ответили на свой вопрос.

КС
На сайте с 27.04.2009
Offline
30
крошка_сеошка
#4

Мой вопрос был, как поступаете вы :-)

aship
На сайте с 20.10.2007
Offline
83
aship
#5
крошка_сеошка:
Мой вопрос был, как поступаете вы :-)

Как советует Яндекс в своем хелпе по роботсу.тхт

http://help.yandex.ru/webmaster/?id=996567

Семинары За что Яндекс наказывает сайты, работа с ТИЦ, бюджетное продвижение сайтов (http://gurutalk.ru)... По фотографии не лечу.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий