Форум Поисковые системы Прочие поисковики

Запрет на индексацию сайта

sergey_
На сайте с 09.01.2007
Offline
55
sergey_
1118

хочу запретить роботам:

http://search.live.com

http://search.msn.com

индексацию наших сайтов.

подскажите как их обозвать в robots чтобы не ощибиться??

Черный список покупателей http://blclient.ru (http://blclient.ru) Апи для интернет магазинов http://blclient.ru/API/ (http://blclient.ru/API/) Отслеживание посылок Почты России с СМС уведомлениями (http://blclient.ru/).
sergey_
На сайте с 09.01.2007
Offline
55
sergey_
#1

и что никто не знает?

dark elf
На сайте с 08.11.2006
Offline
11
dark elf
#2

User-agent: msnbot

Disallow: /

User-agent: *

Disallow:

так пропиши

PS а чем вас так мелкомягкий робот разозлил?

"Человечество не останется вечно на земле, но в погоне за светом и временем сначала робко проникнет за пределы атмосферы, а потом завоюет себе всё околосолнечное пространство..." с К.Э. Циолковский
dark elf
На сайте с 08.11.2006
Offline
11
dark elf
#3

так же мелкомягкие поддерживают дерективу Crawl-delay (это на всякий случай, если бот кладет сервак)

User-agent: msnbot

Disallow:

Crawl-delay: 10

sergey_
На сайте с 09.01.2007
Offline
55
sergey_
#4

спасибо за ответ

sergey_
На сайте с 09.01.2007
Offline
55
sergey_
#5
dark elf:
User-agent: msnbot
Disallow: /

User-agent: *
Disallow:

так пропиши

PS а чем вас так мелкомягкий робот разозлил?

ВОТ ЭТИМ

мне не хочется так светиться ...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий