Форум Поисковые системы Google

вебмастер тулс и тайтл главной. 2 вопроса.

12
Z9
На сайте с 13.01.2009
Offline
23
zend921
1314

Почему могут быть страницы которые разрешены для индексации, быть в вебмастер тулс: URL, запрещенный файлом robots.txt

2056-Levitra/ URL, запрещенный файлом robots.txt

http://imyadomeina.com URL, запрещенный файлом robots.txt

хотя в роботс такое есть

User-agent: googlebot

Allow: /index.php

Allow: 2056-Levitra/

Disallow: /

тоесть роботс таким образом построен. чтобы разрешить главную и ещё одну страницу индексировать. и запретить все остальное. вроде все правильно сделан.

и второй вопрос.

почему не обновляется уже третий месяц тайтл главной в гугле.

limpopo111
На сайте с 17.07.2009
Offline
90
limpopo111
#1

Вот эта строчка "Disallow: /" запрещает индексировать весь сайт

Ибо так возлюбил Бог мир, что отдал Сына Своего Единородного Иисуса Христа в жертву за грех, чтобы всякий верующий в Него, не погиб, но имел жизнь вечную.
Z9
На сайте с 13.01.2009
Offline
23
zend921
#2

/ru/forum/comment/6167581

дык в начале то я разрешил какие страницы индексировать. читал в разных источниках что так можно.

S
На сайте с 28.10.2005
Offline
299
semenov
#3 


User-agent: googlebot

Allow: /index.php

Allow: /2056-Levitra/

Disallow: /
Z9
На сайте с 13.01.2009
Offline
23
zend921
#4

/ добавить? ок добавлю.

может ещё кто-нибудь что-нибудь подскажет?

adulthood
На сайте с 15.12.2009
Offline
37
adulthood
#5

тс вы можете вопрос корректнее поставить, ато я не пойму что вы хотите спросить. в роботсе вы сами запретили индексировать весь сайт строчкой которую уже указали.

KidULTHOOD To AdULTHooD
Z9
На сайте с 13.01.2009
Offline
23
zend921
#6

Я ведь сказал уже. я не запрещал индексировать весь сайт.. я разрешил часть и запретил все остальное. так мне сказали (моим способом) можно делать.

а вопрос я думаю понятен. кто разбирается тот поймет.

adulthood
На сайте с 15.12.2009
Offline
37
adulthood
#7
zend921:
Я ведь сказал уже. я не запрещал индексировать весь сайт.. я разрешил часть и запретил все остальное. 

Disallow: /

а это по вашему не запрет на индексацию всего сайта? лучше запретите то, что вам не нужно, а весь сайт откройте.

а у вас сейчас все что после / - запрещено к индексации.

Z9
На сайте с 13.01.2009
Offline
23
zend921
#8
adulthood:
Disallow: /

а это по вашему не запрет на индексацию всего сайта? лучше запретите то, что вам не нужно, а весь сайт откройте.
а у вас сейчас все что после / - запрещено к индексации.

Мне будет долго ставить запрет на 1000 страниц руками. поэтому и сделал так.

И как я написал выше мне сказали что сделал я правильно. вот http://joomlaforum.ru/index.php/topic,62957.0.html например нашел обсуждается такая же схема как у меня. все работает у человека.

adulthood
На сайте с 15.12.2009
Offline
37
adulthood
#9
zend921:
Мне будет долго ставить запрет на 1000 страниц руками. поэтому и сделал так.
И как я написал выше мне сказали что сделал я правильно. вот http://joomlaforum.ru/index.php/topic,62957.0.html например нашел обсуждается такая же схема как у меня. все работает у человека.

как знаете, мое дело предложить

NJ
На сайте с 04.02.2010
Offline
5
NickJr
#10

Как понимает это робот:

User-agent: googlebot

Allow: /index.php

Allow: /2056-Levitra/

Disallow: /

Робот понимает так:

1. Вижу четыре строки правил

2. Анализирую первую строку, вижу User-agent, если я - googlebot, то читаю дальше

3. Анализирую вторую строку, вижу разрешение индексировать "/index.php"

4. Анализирую третью строку, вижу разрешение индексировать "/2056-Levitra/", добавляю к списку адресов для индексации адрес из этой строки, список выглядит так: "/index.php, /2056-Levitra/"

5. Анализирую четвертую стоку, вижу запрет на индексацию любых адресов начинающихся с "/", обнуляю список адресов для индексации (они все начинаются с "/"), ухожу с сайта ничего не индексируя т.к. все адреса сайта начинаются с "/".

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий