Drupal вопрос по robots.txt

xasssss
На сайте с 23.05.2012
Offline
129
1372

Есть сайт www.euro-mg.ru

В выдаче яндекса куча дулей страниц: ВЫДАЧА

Подскажите как заполнить rotots.txt что бы убрать дули, сейчас он выглядит так:

User-agent: *

Crawl-delay: 10

# Directories

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /profiles/

Disallow: /scripts/

Disallow: /themes/

# Files

Disallow: /CHANGELOG.txt

Disallow: /cron.php

Disallow: /INSTALL.mysql.txt

Disallow: /INSTALL.pgsql.txt

Disallow: /install.php

Disallow: /INSTALL.txt

Disallow: /LICENSE.txt

Disallow: /MAINTAINERS.txt

Disallow: /update.php

Disallow: /UPGRADE.txt

Disallow: /xmlrpc.php

# Paths (clean URLs)

Disallow: /admin/

Disallow: /comment/reply/

Disallow: /logout/

Disallow: /node/add/

Disallow: /search/

Disallow: /user/register/

Disallow: /user/password/

Disallow: /user/login/

# Paths (no clean URLs)

Disallow: /?q=admin/

Disallow: /?q=comment/reply/

Disallow: /?q=logout/

Disallow: /?q=node/add/

Disallow: /?q=search/

Disallow: /?q=user/password/

Disallow: /?q=user/register/

Disallow: /?q=user/login/

Disallow: /taxonomy

Disallow: /manufacturer/adata

Disallow: /manufacturer/apexto

Disallow: /manufacturer/goodram

Disallow: /manufacturer/integral

Disallow: /manufacturer/kingmax

Disallow: /manufacturer/pqi

Disallow: /manufacturer/silicon-power

Disallow: /manufacturer/supertallent

Disallow: /manufacturer/team

Disallow: /manufacturer/kitai

Disallow: /manufacturer/rossiya

Disallow: /flashvolume/1gb

Disallow: /flashvolume/2gb

Disallow: /flashvolume/4gb

Disallow: /flashvolume/8gb

Disallow: /flashvolume/16gb

Disallow: /formdelivery/v-nalichii

Disallow: /formdelivery/pod-zakaz

Disallow: /formdelivery/tranzit

Disallow: /node/244

Sitemap:http://www.euro-mg.ru/sitemap.xml

Host:www.euro-mg.ru

Заранее спасибо!

SS
На сайте с 12.03.2011
Offline
69
#1

Я бы для начала добавила

Disallow: /user/password - открыто и Disallow: /user/register

А еще

Disallow: /*&

Disallow: /*%

Disallow: /*?*

Disallow: /*?page=* - не знаю, насколько правильная конструкция, и насколько нужна.

Disallow: /taxonomy/term/*/0$

Disallow: /taxonomy/*

Disallow: /taxonomy/term/ - криво, в три строки, но так разобралась с таксономией

Ппусть кто-то дополнит - на быструю руку не пойму, что закрывать/не закрывать :)

SeOToM
На сайте с 14.11.2009
Offline
126
#2

xasssss,

Disallow: /*&

Disallow: /*?page=0

Allow: /*?page=

Disallow: /*?

Plazik
На сайте с 29.07.2008
Offline
168
#3

Дубли от старого движка, это битрикс был?

Добавьте:

Disallow: /*?

xasssss
На сайте с 23.05.2012
Offline
129
#4

А вообще эти дубли могут отрицательно сказывается на продвижении? и если да то насколько?

SeOToM
На сайте с 14.11.2009
Offline
126
#5
xasssss:
А вообще эти дубли могут отрицательно сказывается на продвижении?

Да.

xasssss:
и если да то насколько?

Фатально.

Silveo
На сайте с 30.11.2010
Offline
161
#6

Почему мы оставляем Allow: /*?page= - это получается пейджер будет индексироваться, верно? из-за этого же дубли.... У себя запретил /*?page= Как кто считает?

Больше всего в жизни люблю: справедливость, порядочность, обязательность.
Plazik
На сайте с 29.07.2008
Offline
168
#7

Зайдите на свой сайт по адресу site.ru?blablabla - получится дубль главной. Если у вас сайт на ЧПУ, то закрываем все так:

Disallow: /*?

AI
На сайте с 26.10.2012
Offline
53
#8
SvetlanaS:


Disallow: /*?*

можно и без последней звёздочки, что равнозначно отсутствию

в конце строки закрывающего слеша или $ (якорь конца строки)

SS
На сайте с 12.03.2011
Offline
69
#9
Aleks_I:
можно и без последней звёздочки

Можно - только я это позже поняла. Боролась со страницей вида page/24/?option= И без звездочки не так, и со звездочкой не так - нет бы подождать, пока Гугл переиндексирует.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий