Гуглу плевать на robots.txt?

1 23
Elven
На сайте с 25.07.2005
Offline
150
#21

То, что гугл часто берет страницы, в обход роботсу - это факт.

Причем, как конкретные старницы, так и целые разделы.

Наиболее вредные страницы (с дублями, например), я удаляю через панельку.

Помогает.

Другого варианта пока не нашел, хотя и нудновато бывает... Зато более оперативно.

Блог практика маркетинга (http://marketnotes.ru/).
M
На сайте с 27.10.2006
Offline
111
#22
fine:
Сайт на Drupal - нормальный сайт? :)

Промолчу :)

fine:
Какой смысл не пользоваться тем, что гугл сам предлагает использовать и даже объясняет, как это делать? И сам к тому же использует (http://www.google.com/robots.txt).

Честно: ни разу за годы не сталкивался с необходимостью. У меня никогда нет таких страниц, которые нужно запретить. Если есть подозрительная или сомнительная, то я либо привожу ее в порядок, либо от нее избавляюсь. Если это беда движка — ломаю движок или другой обход придумываю.

fine:
Представьте, что мы туда и не смотрим. :)

Всегда респект людям, которым есть чем полезным заняться ;)

Бесплатное хранилище данных (http://bit.ly/gJYy9Z) (5GB) с синхронизацией. По ссылке — бонус 500MB.
fine
На сайте с 01.12.2005
Offline
151
#23
Maxoud:
Честно: ни разу за годы не сталкивался с необходимостью. У меня никогда нет таких страниц, которые нужно запретить.

Верю, потому что ранее этого августа тоже не сталкивалась (или просто не замечала :D).

Если есть подозрительная или сомнительная, то я либо привожу ее в порядок, либо от нее избавляюсь. Если это беда движка — ломаю движок или другой обход придумываю.

Видимо, придется так и делать или опробовать внедрение nofollow в шаблоны к ссылкам.

AR
На сайте с 13.09.2008
Offline
51
#24

Можно попытаться (особенно как раз для упомянтого Друпала) отрегулировать параметры и/или попробовать использовать директиву Noindex в роботах.

Яндекс лучше или Google лучше? Яндекс - доказано Google. (http://noindex.by/meta/chto-luchshe-google-ili-yandeks#comment-5911)
Miha1Low
На сайте с 19.06.2010
Offline
183
#25

Такая же проблема, помогало только удаление мусора через панель. Обратно пока не возвращается.

Мужик сказал и мужик сделал - это два разных мужика.
Z-Style
На сайте с 18.03.2010
Offline
185
#26
demiar:
А мне кажется что правильно так
User-agent: *
Disallow: /go/
Disallow: /tag/

Да,так правильно.

Всегда перед созданием сайта главным образом уделяю внимание robots.txt и .htaccess,

и подобных вопросов мусора в индексе у меня ни разу не возникало. Правильно стройте сайт и будет вам счастье ;)

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий