Форум Поисковые системы Прочие поисковики

Другие поисковики и robots.txt

`
На сайте с 11.02.2005
Offline
102
`Spartanez`
862

Здравствуйте,

Задался целью ( :) хотя целью это можно назвать с натяжкой ) избавиться от лишних посещений ботов и в большинстве своем бесполезного пребывания в индексе Yahoo и MSN. Вреда от них больше чем пользы. Один из главных негативных моментов это палево по бекам... Далее углубляться не буду.

Составил я такого вида роботс.тхт. Просьба к сообществу глянуть на предмет корректности. Может забыл кого... :)

--------------------------------

User-agent: Slurp

Disallow: /

User-agent: msnbot-media

Disallow: /

User-agent: msnbot-news

Disallow: /

User-agent: msnbot-products

Disallow: /

User-agent: msnbot

Disallow: /

--------------------------------

East or West GOOGLE is the best!
K
На сайте с 31.01.2001
Offline
737
Kost
#1

Закрытие индексации сайта не поможет скрыть его беки :).

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
`
На сайте с 11.02.2005
Offline
102
`Spartanez`
#2
Kost:
Закрытие индексации сайта не поможет скрыть его беки :).

Как можно узнать про беки помимо данных от Яху? (первый вопрос в силе :))

Keps
На сайте с 22.04.2008
Offline
89
Keps
#3
`Spartanez`:
Здравствуйте,
Составил я такого вида роботс.тхт. Просьба к сообществу глянуть на предмет корректности. Может забыл кого... :)

Вот эти тоже часто зря буруздят

User-Agent: OmniExplorer_Bot/1.09

Disallow: *

User-Agent: larbin_2.6.3

Disallow: *

`
На сайте с 11.02.2005
Offline
102
`Spartanez`
#4

Этих экзотических зверей не встречал раньше :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий