Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Подскажите по поводу robots.txt Небольшое недопонимание

L
На сайте с 28.01.2005
Offline
109
Lodyr
484

Как правильно написать роботс.тхт

есть сайт с папками, все лежат в корне

папка1

папка2

папка3

папка4

форум

требуется от всех пауков (кроме гугла) закрыть папки

папка1

папка2

форум

а для гугла должны быть закрыты

папка1

папка2

папка4

Вот так вот правильно?

User-Agent: *

Disallow: /папка1/

Disallow: /папка2/

Disallow: /форум/

User-Agent: Googlebot

Disallow: /папка1/

Disallow: /папка2/

Disallow: /папка4/

Или надо вот так вот:

User-Agent: *

Disallow: /папка1/

Disallow: /папка2/

Disallow: /форум/

User-Agent: Googlebot

Disallow: /папка4/

Большое спасибо за подсказку

InSAn
На сайте с 13.01.2003
Offline
60
InSAn
#1

Правильный - первый вариант.

ADPRO - Мы знаем, что Вам нужно! (http://adpro.ua)
L
На сайте с 28.01.2005
Offline
109
Lodyr
#2

InSAn,

Огромное спасибо.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий