Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt Вопрос

W
На сайте с 29.08.2009
Offline
97
weboeb
326

Подскажите, как закрыть одну папку только для гугла? А все остальное открыт для всех.

User-agent: *

Disallow:

User-agent: Google

Disallow: /folder/

Правильно?

K
На сайте с 31.01.2001
Offline
737
Kost
#1

Неправильно. Перед вторым User-agent должна быть пустая строка. А первый блок ничего не делает, он лишний.

User-agent: Google

Disallow: /folder/

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
W
На сайте с 29.08.2009
Offline
97
weboeb
#2

спасибо...

а правильно писать

Disallow: /folder/

Disallow: folder/

Disallow: /folder

?

K
На сайте с 31.01.2001
Offline
737
Kost
#3

Disallow: folder/ - это никогда не сработает.

А дальше зависит от того, что именно вам нужно, папку вместе с ее содержимым, как выглядят адреса папки и страниц и т.п.

http://help.yandex.ru/webmaster/?id=996567 - изучите один раз и регулярно перечитывайте.

Редиректы в htaccess как сделать редирект через микро-вопрос по роботс.тхт
W
На сайте с 29.08.2009
Offline
97
weboeb
#4

спасибо за ссылку, я хотел картинки в папке pics закрыть для гугла, что бы он их не индексировал

сделал так:

User-agent: Googlebot-Image

Disallow: /pics/

weboeb добавил 06.10.2011 в 20:43

weboeb:

User-agent: Googlebot-Image
Disallow: /pics/

так чего? правильно?

Роботс sitemap.xml Различия в интерпретации robots.txt

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий