Форум Поисковые системы Прочие поисковики

Нужна помощь в закрытии индексации сайта для Bing

M
На сайте с 17.06.2006
Offline
60
madass
1616

Добрый день. В целях экономии трафика и мощностей сервера хочу закрыть один проект от индексации в некоторых поисковых системах. Возникла проблема с Bing. Закрывал вот так:

User-agent: msnbot

Disallow: /

User-agent: msnbot/1.0

Disallow: /

User-agent: msnbot/2.0b

Disallow: /

User-agent: bing/msn

Disallow: /

В результате сайт оказался в индексе. Какие сейчас у Binga user-agentы? Заранее спасибо за ответ! :beer:

Skop
На сайте с 03.09.2007
Offline
42
Skop
#1

Между User-agent рекомендуется всё-таки ставить пустую строку

User-agent: *
Disallow:

User-agent: msnbot
Disallow: /

Последние 3 записи в robots.txt вообще не нужны, в мануале вообще нет таких роботов, это версии msnbot (вы же наверное не указываете типа Yandex/1.01.001 для Яндекса или Slurp/3.0 для Яху), а не указания для роботов, почитайте, достаточно по идее

User-agent: msnbot
Disallow: /
Мой блог (http://skoper.ru/) | Nopepad2 - скачать текстовый редактор (http://notepad2.ru/)
M
На сайте с 17.06.2006
Offline
60
madass
#2
Skop:
Между User-agent рекомендуется всё-таки ставить пустую строку

Строчки есть, просто скопировалось так коряво. Дополнительных роботов написали уже потом.

Skop
На сайте с 03.09.2007
Offline
42
Skop
#3
madass:
Строчки есть, просто скопировалось так коряво

Я так и подумал, на всякий случай написал:)

Сайт можно в личку? если не секрет

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий