robots.txt

12
Z9
На сайте с 13.01.2009
Offline
23
1261

Если я запретил в роботс.тхт индексацию категорий..

то он не будем проходится по линкам и индексировать то что в категориях?

пример запрет на domains.com/drugs а в drugs есть cialis . так вот надо чтобы он прошелся по cialis и проиндексировал ее.

[Удален]
#1

ты закрываешь всю папку от индексации, следовательно все ее содержимое в индекс не попадает

Z9
На сайте с 13.01.2009
Offline
23
#2
monia:
ты закрываешь всю папку от индексации, следовательно все ее содержимое в индекс не попадает

перед этим я поставил Allow на некоторые страницы в этом закрытом каталоге. их должно проиндексировать... но вопрос в другом. мне надо чтобы гугл увидел эти страницы. так вот. если запрет на папку поставишь он будет ее сканировать и увидит эти страницы, проиндексирует?

[Удален]
#3
zend921:
перед этим я поставил Allow на некоторые страницы в этом закрытом каталоге. их должно проиндексировать... но вопрос в другом. мне надо чтобы гугл увидел эти страницы. так вот. если запрет на папку поставишь он будет ее сканировать и увидит эти страницы, проиндексирует?

Нет, не проиндексирует. А если тебе нужно проиндексить страницы зачем папку с ними закрывать?

T
На сайте с 12.03.2010
Offline
32
#4

Если страниц не много то можно прописать в роботсах конкретно для каждой страницы.

Либо просто попробуй классифицировать по другому станицы и закрыть ненужные.

Z9
На сайте с 13.01.2009
Offline
23
#5
monia:
Нет, не проиндексирует. А если тебе нужно проиндексить страницы зачем папку с ними закрывать?

всмысле даже сканировать не будет линки.. просто в роботсе там часть страниц в категориях разрешены..

папку закрыл потому что нужно только часть страниц проиндексировать (с уник. контентом)..

Проиндексировать то проиндексирует может, в вебмастер тулс проверил. только если получается с левых сайтов линки указать на страницы.. а так скан запрещен да.

zend921 добавил 13.03.2010 в 15:11

Triol:
Если страниц не много то можно прописать в роботсах конкретно для каждой страницы.
Либо просто попробуй классифицировать по другому станицы и закрыть ненужные.

Я и прописал отдельно для каждой страницы, но мне наверху написали про "не проиндексирует".. тоесть он даже сканировать ее не будет на наличие страниц-линков?

всего нужно разрешить 70 страниц.. они находятся в 30 категориях разных.. надо закрыть остальные 500 страниц. вот что в роботс прописал. http://mastertalk.ru/topic108288.html вот здесь обсуждал это.

структура сайта такая. http://domain.com/drugs/3-Women%27S-Health/

вот надо как то разрешить только несколько паг в women's health.. я сделал роботс как в линке выше указанно... но запрет стоит на папки. другс. и на категорию вумен хеалф.

и получается гугл никак не узнает о моей паге в вумен хилф. чтобы проиндексировать ее. ибо папки запрещены.? так?

T
На сайте с 12.03.2010
Offline
32
#6

Нет, если у тебя будет запрет на папку, но разрешение на один из файлов в папке то файл проиндексируется.

Z9
На сайте с 13.01.2009
Offline
23
#7
Triol:
Нет, если у тебя будет запрет на папку, но разрешение на один из файлов в папке то файл проиндексируется.

Ясно тоесть щас у меня все нормально. меня просто ввели в заблуждение.

[Удален]
#8

zend921, будь добр, отпишись в этом топике когда страницы проиндексятся

Z9
На сайте с 13.01.2009
Offline
23
#9
Triol:
Нет, если у тебя будет запрет на папку, но разрешение на один из файлов в папке то файл проиндексируется.

имеется ввиду "запрет на папку".. запрет на категорию да?

1
На сайте с 19.12.2009
Offline
21
#10

А как объяснить вот такой факт, был сайтик из одной страницы, запретил в robots.txt индексацию сайта. Страница при запрещенной индексации около года висела в индексе. Учитывались с него линки или нет?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий