Форум Поисковые системы Google

Почему google пробил robots.txt

OI
На сайте с 05.03.2011
Offline
109
ORIGAMMI
444

Обнаружил свой сайт далеко за 50 позиций.

Еще не давно по запросу по которому смотрю был на 4 месте.

Стал разбираться, посмотрел командой site:domen.com и увидел

целую тучу проиндексированных не уникальных страниц в выдаче,

хотя эти страницы были под robots.txt

Как такое могло произойти?

Единственное что приходит на ум так, то что у меня не возможно сделать основное зеркало сайта

и прописать 301 редирект с www/

Я так понимаю команда Disallow: /women

не должна разрешать индексировать такую страницу?

www.site.com/women/new/35_silvergold_3_8_0/83f034b86?user_id=100300722

MD
На сайте с 06.02.2011
Offline
124
MarkDuck
#1

попробуйте вот так Disallow: /women/

а почему невозможно редирект сделать с www?? это ведь необходимо определить основной хост

OI
На сайте с 05.03.2011
Offline
109
ORIGAMMI
#2
MarkDuck:
попробуйте вот так Disallow: /women/
а почему невозможно редирект сделать с www?? это ведь необходимо определить основной хост

Да это необходимо. Просто сайт партнерский и к .htaccess нет доступа.

Disallow: /women должна закрывать все что начинается со слов women?

ZoomY
На сайте с 07.11.2008
Offline
165
ZoomY
#3
MarkDuck:
попробуйте вот так Disallow: /women/

Нет смысла это делать.

"/women" уже блокирует всё, что начинается с women.

Это очень легко проверить в Google Webmaster Tools (Конфигурация сайта -> Доступ для сканера).

Размещу ваши статьи на сайтах с тИЦ до 1400 по 5$ (/ru/forum/846111) Сейчас многие ищут хостинг за пределами России. Ukrnames - один из лучших вариантов: (http://ukrnames.com/?ref_id=114) и лидер рынка, и привычно, и по-русски, и вне юрисдикции РФ.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий