Мусор в индексе. Не понимаю...

Если страница закрыта от индексации но на неё стоят ссылки то она всё равно может быть проиндексирована и присутствовать в поиске. ( Читал кажется в хелпе гугла, точно сказать не могу).

Disallow: /file.php*$ не?

Аналогичная ситуация. Страницы закрыты и в robots.txt и при помощи метатегов, но это не мешает им попадать в индекс. Зачастую в течении нескольких месяцев страницы все же пропадают из индекса, но так бывает не всегда. Ничего с этим не поделаешь...

Разве это не разные урлы?

ИМХО так:

Disallow: /*? - все, содержащее вопрос в урле. Или

Disallow: /*?smthng - все, содержащее ?smthng в урле.

шо это за чудо? :)

Z-Style добавил 21.03.2011 в 19:53

Disallow: /file.php закрывает все что начинается с file.php

http://help.yandex.ru/webmaster/?id=996567#996572 ;)

У меня в роботсе чтобы исключить все записи с ?

Disallow: */*?

Z-Style добавил 21.03.2011 в 19:58

Drinko, я то понимаю что вы написали, я не понимаю к чему вы это написали :) А по поводу "чуда" - не думал что где-то в мануалах будет упоминаться запись рода ...*$

В общем, тут не в роботс дело а видимо все-таки в том что гугл любит все шо попало пихать в свой индекс.

Аналогично, закрыто в роботсе, но куча шлака в индексе. Что с этим делать - не понимаю. Но сделал редирект со шлака на главную. Прошло около 1,5 недель, результат пока не виден.

зы. На большинство шлака внешних ссылок нет (например, на страницу комментирования).

Domishko, не боитесь последствий таких эксперементов? Или вы на подопытном пока испытуете?))

Нет, неверно, это закрывает только этот конкретный файл.

Это тоже неправильный синтаксис.

Читайте здесь.