Форум Практика оптимизации Любые вопросы от новичков по оптимизации

по robots.txt

MD
На сайте с 06.02.2011
Offline
124
MarkDuck
393

Небольшой сайт на php.

Роботса небыло, сейчас задался вопросом нужен ли мне он?

Вприницепе специально от робота скрывать нет неоходимости, вопрос нужно ли это делать для продвижения?

У меня отдельные страницы на шапку с меню и футер, а также помимо страниц вида cтраница.php и .htaccess, есть папки с картинками, cgi-bin, test (там хранятся старые страницы, которые не нужны, на всякий случай) и admin.

Нужно ли что нибудь ограничивать от роботов?

[Удален]
#1

Файл все-таки лучше создать, хотя бы для того, чтобы указать основное зеркало и путь к xml-карте сайта (если страниц много).

MD
На сайте с 06.02.2011
Offline
124
MarkDuck
#2

то есть просто пустой файл в папку скинуть?

у меня всего 7 страниц в индексе и карты сайта нету даже

[Удален]
#3
MarkDuck:
то есть просто пустой файл в папку скинуть?
у меня всего 7 страниц в индексе и карты сайта нету даже

User-agent: *

Disallow:

Host: www.сайт.ru (или без www, смотря какое у Вас основное зеркало)

Nikwind
На сайте с 10.01.2011
Offline
88
Nikwind
#4

нужен)можно закрыть всякий хлам)

MD
На сайте с 06.02.2011
Offline
124
MarkDuck
#5
provocator:
User-agent: *
Disallow:
Host: www.сайт.ru (или без www, смотря какое у Вас основное зеркало)

у меня основной с www но на него редирект в .htaccess прописан... нужно ли тогда писать в роботсе? если нет, то просто пустой загрузить?

igrinov
На сайте с 09.01.2009
Offline
134
igrinov
#6

я бы рекомендовал 

User-Agent: *

Disallow: /test/

Disallow: /admin/



User-agent: Yandex

Disallow: /test/

Disallow: /admin/

Host: www.site.ru
Персональный VPN/Socks сервер (https://cp.inferno.name/aff.php?aff=2419)
Denisg
На сайте с 10.01.2008
Offline
136
Denisg
#7

Роботс на сайте нужен однозначно. Указывайте там те страницы, которые вы хотите видеть в индексе. И наоборот - там можно запретить от индексации все. СМ. ПОМОЩЬ.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий