Мусор в индексе. Не понимаю...

12
Z-Style
На сайте с 18.03.2010
Offline
185
#11
bober:
Нет, неверно, это закрывает только этот конкретный файл.

нет, не только.

bober:

Это тоже неправильный синтаксис.
Читайте здесь.

Возможно, но работает)) Это такое же чудо как и Disallow: /file.php*$ :)

Domishko
На сайте с 02.01.2008
Offline
181
#12
Z-Style:
Domishko, не боитесь последствий таких эксперементов? Или вы на подопытном пока испытуете?))

А какой тут эксперимент-то? Домен дропнутый, есть ссылки извне вида домен.ру/ref=123456. Такие ссылки гуглем индексируются как отдельные страницы. Закрытие роботсом не помогло, сделал редирект на главную.

Страницы комментариев, т.е. домен.ру/comment/блаблабла изначально закрыты в роботсе, внешних ссылок на них точно нет, так тонны таких страниц в индексе. Такое ощущение что гугля игнорит роботс.

bober:
Нет, неверно, это закрывает только этот конкретный файл.

Это тоже неправильный синтаксис.
Читайте здесь.

http://webmaster.yandex.ru/robots.xml

Создайте подобное правило и проверьте лично. Уверяю что страница будет закрыта от индексирования по мнению Яндекса.

V
На сайте с 18.02.2011
Offline
3
#13

Можно попробовать в панеле вебмастеров гугла дополнительно прикрыть некоторые параметры: Site configuration -> Settings -> Parameter handling

Forza!
На сайте с 22.09.2008
Offline
107
#14

Z-Style, а сама страница file.php в индексе? Если нет, тогда пропиши канонический линк и будет тебе счастье. И еще перестраховаться можно, прописавши метатег robots, а внем соответсвенно запретить индексацию документа, тогда 100% поможет.

Domishko
На сайте с 02.01.2008
Offline
181
#15

Для неверующих проверка через панель гугла:

URL Робот Google Googlebot-Mobile
http://сайт.ру/file.php?=123 Заблокировано по строке 56: Disallow: /file.php Заблокировано по строке 56: Disallow: /file.php
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий