Запретить индексировать сайт всем кроме Яндекса и Гугла

125

palarmaz

11 мая 2010, 16:17

834

Собственно вопрос. Нужно Запретить индексировать сайт всем кроме Яндекса и Гугла. Если в роботсе прописать

User-agent: Yandex
Disallow:
Sitemap:
Host: site.ru

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

Так правильно?

AS

132

AchilleSS

11 мая 2010, 19:29

#1

Sitemap - указать или удалить

на правильность можно проверить в панели вебмастера яши гугла

лучше всего банить остальных по юзерагенту в nginxксе

245

Станислав

11 мая 2010, 19:51

#2

Что то типа того

User-agent: Yandex

HOST: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot

User-agent: *
Disallow: /

Мы там, где рады нас видеть.

125

palarmaz

11 мая 2010, 21:48

#3

Ms-Dred:
Что то типа того

А яндекс или гугл не смутится при чтении строчки

User-agent: *

Disallow: /

427

siv1987

11 мая 2010, 22:59

#4

ТС, у вас все правильно, только пустую директиву Ситемап либо уберите либо пропишите туда xml карту.

261

orphelin

11 мая 2010, 23:15

#5

Ms-Dred:
Что то типа того

типа такого бреда давно не видел.