robots.txt - в чем ошибка

12 3
O
На сайте с 28.04.2008
Offline
96
1120

есть интернет-магазин, было проиндексировано страниц от 500. Потом подправили robots.txt:

Если кто знает джумлу, то стало вот так -

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Host: domainname.ru

Раньше директивы Host не было, однако сайт содержит главное зеркало - domainname.ru, а www.domainname.ru - не главное.

После этого выпали все с траницы из индекса, кроме 2х. В чем тут ошибка - подскажите плиз?

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Стопиццотая ссылка на мануал:

http://help.yandex.ru/webmaster/?id=996567

O
На сайте с 28.04.2008
Offline
96
#2

смотрела, в 1ю очередь, Но не очень поняла - из-за лишней пустой строки между директивами?

Armin
На сайте с 04.03.2009
Offline
75
#3

У вас наверное Виртуемарт стоит и лежит он весь именно в папке components и вы эту папку закрыли от индексации и да как сказал Evgeniy NN покажите сайт, вполне возможно он под АГС вы с платонами не общались?

Консультации по SEO от 25$/час. Обращаться в ICQ За инвайтами на киноперец в личку SEOinst.ru - все необходимое для заработка в интернет (http://linkum.ru/to/2041/)
[Удален]
#4

Почему бы сам адрес сайта не написать?

Если 2 страницы в индексе осталось...возможно сайт под АГС

O
На сайте с 28.04.2008
Offline
96
#5

super shtrih . ru - прошу прощения, пробелы все уберите, не хочу светить ссылку.

olgash добавил 12.09.2010 в 14:11

вот только начали заниматься этим сайтом - тексты неуникальные сплошь - может из-за этого?

про папку component -> на сайте ЧПУ, вроде напрямую таких адресов и нет уже /components/....

Вот дня 2 назад это случилось - все выпало из индекса.

В обратную связь Яндекса уже писала, ждемс..

DyaDya
На сайте с 11.04.2007
Offline
147
#6

В панель вебмастера сайт добавьте. Если были ошибки в роботсе, то их увидите!

Но скорее всего вы словили АГС!

Выбирайте качественный хостинг (http://vashmaster.ru/informaciya/o_poleznyh_programmah/news83.php) и продвигайте сайты в СЕОПУЛЬТ (http://seopult.ru/ref.php?ref=72b5ed9561fe66a1). А на «SAPE» я в обиде :) Не упрекайте за очепятки, пишу вслепую (http://ergosolo.ru/) и также делаю сайты (http://www.vashmaster.ru/) ;)
O
На сайте с 28.04.2008
Offline
96
#7

ошибки в Я.вебмастер только такие - страница запрещена к показу в robots.txt и никакой конкретики, типа уберите запрещающую директиву и все. Начинаешь проверять каждую страницу там же в Я.вебмастер - все разрешены.

AlexRas
На сайте с 11.02.2009
Offline
77
#8
olgash:
super shtrih . ru - прошу прощения, пробелы все уберите, не хочу светить ссылку.

olgash добавил 12.09.2010 в 14:11
вот только начали заниматься этим сайтом - тексты неуникальные сплошь - может из-за этого?
про папку component -> на сайте ЧПУ, вроде напрямую таких адресов и нет уже /components/....

Вот дня 2 назад это случилось - все выпало из индекса.

В обратную связь Яндекса уже писала, ждемс..

А чпу вы давно поставили? Новые урлы уже успели проиндексироваться?

DyaDya
На сайте с 11.04.2007
Offline
147
#9
olgash:
страница запрещена к показу в robots.txt

Ну вот вы и ответили на вопрос! Значит измените роботс!

Для простоты на такой:

User-agent: *
Allow: /
Host: domainname.ru
O
На сайте с 28.04.2008
Offline
96
#10

да, ЧПУ изначально стояли и все проиндексировалось. Единственно у меня подозрение (уже не помню просто), что проиндексировалось много страниц с "www." - а главное зеркало без "www", и директивой "Host" все сбилось..

olgash добавил 12.09.2010 в 14:29

DyaDya:
Ну вот вы и ответили на вопрос! Значит измените роботс!

Для простоты на такой:

вот именно что все запуталось, т.к. конкретики никакой, ошибки я лично пока не вижу, и пытаюсь разобраться. Все указанные папки стандартны для Джумла (если кто знает Джумла). И эти папки желатеьно не открывать роботам.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий