Форум Сайтостроение Веб-строительство

Вопрос по файлу robots

12
A
На сайте с 26.07.2010
Offline
72
Atavisma
953

Движок самописный мучаюсь уже два года.

Есть раздел статей- http://www.svetgorod.ru/enciklopedia/ энциклопедия.

В нём- четыре подраздела. Выбираем, как сделать, чем отличается, что такое.

Из-за дикости движка статьи из раздела к примеру- "выбираем" поисковики индексируют не только как

svetgorod.ru/enciklopedia/vibiraem/329 а ещё и как svetgorod.ru/enciklopedia/329. И статья показывается вот так. К сожалению. Поэтому на сайте море дублей, тройников и ещё тому подобной дряни.

Вопрос.

Можно ли записать в файле robots вот так

Disallow: /enciklopedia

и ниже разрешить /enciklopedia/vibiraem/ и так же все четыре раздела

То есть сначала всё запретить, а потом четыре раздела разрешить

Помогите советом пожалуйста.

Спасибо.

m@s
На сайте с 17.09.2007
Offline
173
m@s
#1
Можно ли записать в файле robots вот так

Не поможет.

A
На сайте с 26.07.2010
Offline
72
Atavisma
#2

Не могли бы Вы прояснить, почему.

Спасибо.

Garin33
На сайте с 31.08.2009
Offline
169
Garin33
#3

Видимо потому что вы собираетесь задать взаимоисключающие правила для ботов.

Сначала хотите запретить /enciklopedia , что запретит ВСЕ ссылки, которые начинаются на /enciklopedia.

А потом хотите разрешить /enciklopedia/vibiraem/, что не возможно, т.к. перед этим вы все запретили.

Можно посмотреть в сторону спецсимволов, возможно поможет.

Пробуйте, и тестируйте правила.

Потому что Drupal - это круто.
Хостинг в США, от Причины блокировки сайтов в Посоветуйте плагин WP для
A
На сайте с 26.07.2010
Offline
72
Atavisma
#4

спасибо, буду думать

WebAlt
На сайте с 02.12.2007
Offline
266
WebAlt
#5

Что там думать, сначала разрешите, потом запретите и все будет OK'

User-agent: *
Allow: /enciklopedia/vibiraem_1
Allow: /enciklopedia/vibiraem_2
Allow: /enciklopedia/vibiraem_3
Allow: /enciklopedia/vibiraem_4
Disallow: /enciklopedia

http://help.yandex.ru/webmaster/?id=996567

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#6

Типо так это будет

Allow: /enciklopedia/$

Allow: /enciklopedia/vibiraem/

Allow: /enciklopedia/vibiraem2/

Allow: /enciklopedia/vibiraem3/

Disallow: /enciklopedia/

gormarket
На сайте с 29.12.2010
Offline
47
gormarket
#7

Плохо то, что у Вас на самом сайте присутствуют ссылки и вида "/enciklopedia/vibiraem/329" и вида "/enciklopedia/329", отдающие одинаковый контент.

Попробуйте избавиться от ссылки "/enciklopedia" в левом меню, заменив ее на сайте на "/enciklopedia/vibiraem"

А от дублей страниц, которые поисковики уже проиндексировали придется избавляться 301 редиректами с помощью модуля mod_rewrite в .htaccess


RewriteRule ^enciklopedia$ http://%{HTTP_HOST}/enciklopedia/vibiraem [R=301,NC,L]
RewriteRule ^enciklopedia/([0-9]+)$ http://%{HTTP_HOST}/enciklopedia/vibiraem/$1 [R=301,NC,L]

Товары и цены в магазинах Вашего города: Городской рынок (http://gormarket.ru/)
ЧПУ для свойств товара Помощь с файлом .htaccess Все о сателлитах. Семинар
A
На сайте с 26.07.2010
Offline
72
Atavisma
#8
siv1987:
Типо так это будет

Allow: /enciklopedia/$
Allow: /enciklopedia/vibiraem/
Allow: /enciklopedia/vibiraem2/
Allow: /enciklopedia/vibiraem3/
Disallow: /enciklopedia/

а что означает эта строка и этот спецсимвол конкретно?

Allow: /enciklopedia/$

$ в ней

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#9
Atavisma:
а что означает эта строка и этот спецсимвол конкретно?

Вдруг тебя в ПС забанили: http://help.yandex.ru/webmaster/?id=996567

A
На сайте с 26.07.2010
Offline
72
Atavisma
#10

не понял. про бан.

Вот вытащил из правил

User-agent: Yandex

Disallow: /example$ # запрещает '/example',

# но не запрещает '/example.html'

но тут написано Disallow: /example$ а мне советуют типа /example/$. это же другое значит? наверно

Atavisma добавил 05.08.2011 в 22:14

и ещё, если кто знает.

директива Allow сейчас ГУГЛом воспринимается?

Яндекс внес изменения в Как защитить сайт от Платон Щукин об изменениях
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий