Все вопросы по robots.txt

N9
На сайте с 08.12.2014
Offline
9
#501

отличная ссылка - спасибо


re_Inferno:
Насколько я знаю как не закрывай в роботсах - все равно будет висеть в дополнительном поиске.
Попробуйте в роботсах оставить открытыми, а на таких страницах прописать ноуиндекс/ноуфоллоу

через админку на такие странице не могу зайти.

я думал часть скрыть через disallow

и чтобы быстрее выпали вручную, пускай их даже штук 200

"попросить" гугл убрать из поиска

тестировал на пару страницах. из поиска действительно выпали.


BooblikBBW:
Disallow: /*.html?*?___from_store=ru=
Disallow: /*.html?*?___from_store=ua=

По поводу ? возможно не уверен


попробую, посмотрим через пару дней


спасибо
Желаю всем добра!
RI
На сайте с 17.09.2015
Offline
15
#502
Nikolay91:

через админку на такие странице не могу зайти.

Так не через админку. Ftp, шаблон сайта. Какой нибудь костыль типа "Если в урле страницы есть "?___from_store=" - то выводить ноуиндекс ноуфоллоу

А так я не заморачивался с фильтрами и написал

Disallow: /*?

И не обращаю внимания. (Но я то с яндексом работаю)

з.ы. мне кажется правильным: [Del]

J
На сайте с 21.11.2013
Offline
16
#503
Nikolay91:


Я пробовал, но не помогло
Disallow: /*?___from_store=ru
Disallow: /*?___from_store=ua

с точки зрения синтаксиса robots.txt тут все правильно

как вариант добавить на страницы rel="canonical" http://googlewebmastercentral.blogspot.ru/2009/02/specify-your-canonical.html

---------- Добавлено 09.12.2015 в 14:10 ----------

re_Inferno:
з.ы. мне кажется правильным Disallow: /*?___from_store=*

там сравнение по подстроке, поэтому в конце * необязательно ставить

RI
На сайте с 17.09.2015
Offline
15
#504
johnnymnemonic:

там сравнение по подстроке, поэтому в конце * необязательно ставить

А, ну да. привычка. А то кажется незаконченным :D

A
На сайте с 05.04.2007
Offline
76
#505
seonomad:
Allow: /forum-review.php?

А раздел тем и далее топики получаются закрыты!

RI
На сайте с 17.09.2015
Offline
15
#506
Alexeych:
А раздел тем и далее топики получаются закрыты!

Все правильно написали выше. все что содержит данное выражение будет индексироваться.

Логичней было бы сразу в вебмастере проверить, не зря же такие делают инструменты

N9
На сайте с 08.12.2014
Offline
9
#507
А так я не заморачивался с фильтрами и написал
Disallow: /*?
И не обращаю внимания. (Но я то с яндексом работаю)

Тю))

Может все действительно так просто. и мне сделать

Disallow: /*?

А что думаете будут проблемы в гугле?

Вообще с яндексом мы тоже дружим. Но акцент на гугл.

RI
На сайте с 17.09.2015
Offline
15
#508
Nikolay91:
Тю))
Может все действительно так просто. и мне сделать
Disallow: /*?

А что думаете будут проблемы в гугле?
Вообще с яндексом мы тоже дружим. Но акцент на гугл.

Так правила написанные вами тоже работают.

Проблема что гугл, в отличии от яндекса, закрытое в роботсах хранит в "дополнительном поиске"

А какие могут быть проблемы в гугле при закрытии дублей?

A
На сайте с 05.04.2007
Offline
76
#509
re_Inferno:
Все правильно написали выше. все что содержит данное выражение будет индексироваться.
Логичней было бы сразу в вебмастере проверить, не зря же такие делают инструменты

От вэбмастера и иду!

Форум индексируется:мой сайт/forum-review.php

А вот все что далее пишет красненьким /*?PAGE*

N9
На сайте с 08.12.2014
Offline
9
#510
re_Inferno:
Так правила написанные вами тоже работают.
Проблема что гугл, в отличии от яндекса, закрытое в роботсах хранит в "дополнительном поиске"

А какие могут быть проблемы в гугле при закрытии дублей?

то есть получается, если я удалю вручную их из поиска. то они больше когда не появятся.

потому что мои правила работают

я просто думал, что мои правила не работают. Почему?

У меня было больше дублей на порядок. Я закрыл часть из них и в итоге увидел в вебмастере, снижение количества.

А в этом случае - все стоит на месте. Вот и подумал, что правила мои не работают.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий