Яндекс индексирует все, что запрещено в robots.txt

123 4
D
На сайте с 25.07.2008
Offline
145
2931

Столкнулся с такой штукой, Яндекс после последнего апа, проиндексировал все разделы сайта, закрытые от индексации:

Disallow: /admin.php

Disallow: /user/

Disallow: /tags/

Disallow: /index.php?do=register

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=stats

Все появились в выдаче и в панели вебмастера, а новые страницы с контентом, не появились, и те не многие, что уже были проиндексированы, (есть в панели) по 100% точному запросу вообще не показывает в выдаче. ??

В чем может быть засада?

Vincent_
На сайте с 24.12.2008
Offline
136
#1

Яндекс еще не успел построить индекс ваших страниц согласно правилам в robots.txt, потому что вы его недавно обновили. Через пару апдейтов все станет на места, если не дергаться.

LS
На сайте с 27.07.2009
Offline
93
#2
droid:
...
В чем может быть засада?

Только во времени. У меня доходило переиндексация robots до 40 дней.

D
На сайте с 25.07.2008
Offline
145
#3

Ну будем надеяться. Основной контент уже в выдаче, и даже залез в топ ))

а мой роботс уже 2 месяца висел на сайте без изменений. Последний раз я его изменил позавчера. На последние измененные директивы я не смотрю, а вот почему старые в выдачу попали, не понятно (

W
На сайте с 07.01.2011
Offline
1
#4
droid:
Ну будем надеяться. Основной контент уже в выдаче, и даже залез в топ ))
а мой роботс уже 2 месяца висел на сайте без изменений. Последний раз я его изменил позавчера. На последние измененные директивы я не смотрю, а вот почему старые в выдачу попали, не понятно (

robots.txt работает,но со временем, надо уметь сидеть в засаде (ждать)

webkopejka.com
Ilia Denisiuk
На сайте с 08.03.2010
Offline
53
#5

Подождите, в роботсе поменял несколько правил, ждал результат 4 месяца.

Возможно если заставить бегать робота по сайту чаще, то и правила роботса быстрее начнут действовать, но это ИМХО.

D
На сайте с 25.07.2008
Offline
145
#6
Ilia Denisiuk:

Возможно если заставить бегать робота по сайту чаще, то и правила роботса быстрее начнут действовать, но это ИМХО.

У меня сайт новостной, Яша с Гуглом от туда не вылазят. С опубликования новости, до появлении ее в выдачи, проходит 10-15 мин.

[Удален]
#7

Роботс работает криво и иногда изменения вступают в силу лишь через пару месяцев.

С другой стороны - роботс это рекомендация, а не аксиома

S
На сайте с 28.10.2005
Offline
311
#8

Роботс покажите полностью

D
На сайте с 25.07.2008
Offline
145
#9

Вот:

User-agent: Yandex

Disallow: /*print

Disallow: /user/

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /uploads/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /index.php?do=addnews

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=pm

Disallow: /index.php?do=register

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Disallow: /statistics.html

Host: хххххххххх

Sitemap: http://хххххххххх/sitemap.xml

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /uploads/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /index.php?do=addnews

Disallow: /index.php?do=feedback /

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=pm

Disallow:index.php?do=register

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Disallow: /statistics.html

Не были закрыты теги, поэтому попали в выдачу. Сейчас исправил. А все остальное было закрыто изначально, но в выдачу просочилось это:

/user/

/index.php?do=feedback /

/index.php?do=lostpassword

/index.php?do=pm

Тех. поддержка пока молчит

vandamme
На сайте с 30.11.2008
Offline
675
#10
B.Clay:
С другой стороны - роботс это рекомендация, а не аксиома

и частенько он игнорирует роботс, это верно

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий