Помогите с robots.txt

198

victor222

14 июля 2011, 09:30

360

Как закрыть все эти страницы кроме одной

/load/3-1-0-4

/load/3-7-0-4
/load/3-4-0-4
/load/3-6-0-4
/load/3-5-0-4
/load/3-8-0-4
/load/3-1-0-4?id=1&a=1&ajax=986

Нужно закрыть все кроме /load/3-1-0-4

S

319

semenov

14 июля 2011, 09:32

#1

Allow: /load/3-1-0-4$

Disallow: /load/3-

198

victor222

14 июля 2011, 09:50

#2

semenov:
Allow: /load/3-1-0-4$
Disallow: /load/3-

Мне это нужно сделать только для гугла нужно добавить ко всем роботам (хотя в Яндексе этих дублей нет), или сделать отдельно для гугла

вот так

User-agent: Googlebot

Allow: /load/3-1-0-4$

Disallow: /load/3-

Закрыть доступ роботам гугл. Google игнорирует robots.txt. Сайт Google индексирует папку несмотря

S

319

semenov

14 июля 2011, 12:24

#3

Коль дубли - делайте для всех