robots.txt Разъясните пожалуста?

HR
На сайте с 22.08.2010
Offline
94
585

Здравствуйте уважаемые веб-мастера подскажите пожалуйста как закрыть файлы в robots.txt?

В при крепленом скриншоте структура моего сайта.

Мой robots.txt:

User-agent: *

Disallow: /admin/

Disallow: /includes/

Disallow: /pages/

Disallow: /images/

Вопросы:

1. Можно ли закрыть от индексации папку /pages/ если в ней находятся страницы сайта которые инклудятся в файле index.php?

2. Можно ли закрыть от индексации папку /images/ если в ней находятся все фотографии сайта, а я хочу что бы они участвовали в поиске по картинкам?

3. И такой вопрос - если хочешь запретить определенный файл нужно указывать путь к этому файлу на сервере или url по которому он открывается. Так как использую ЧПУ и .htaccess?

jpg site.jpg
The WishMaster
На сайте с 29.09.2005
Offline
2542
#1
HEMASTER:
2. Можно ли закрыть от индексации папку /images/ если в ней находятся все фотографии сайта, а я хочу что бы они участвовали в поиске по картинкам?

А зачем тогда закрывать ее от индексации? O_O

Пешу текста дешыго! Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
Алзим
На сайте с 10.06.2010
Offline
110
#2
HEMASTER:
1. Можно ли закрыть от индексации папку /pages/ если в ней находятся страницы сайта которые инклудятся в файле index.php?

Я думаю, что если у вас есть ссылки начинающиеся с site.ru/pages/*** то закрывать в роботс не стоит. Если таких страниц нет, то закрывать можно.

Ведь робота интересуют ссылки на страницы, а не просто папки с файлами. Правда, иногда это может быть одно и тоже.

[Удален]
#3

Зачем вообще закрывать директории сайта? :D Админку и т.д.. Бот не ходит по вашему ФТП, переходит только по ссылкам.

A
На сайте с 03.04.2010
Offline
179
#4

смотрите как у вас показывается в адресной строке, а дальше решаете закрывать или нет

HR
На сайте с 22.08.2010
Offline
94
#5
The WishMaster:
А зачем тогда закрывать ее от индексации? O_O

В папке images есть папки с картинками для статей и папка с кусками картинок для дизайна.

Спасибо всем кто ответил... очень помогло!!!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий