Форум Поисковые системы Прочие поисковики

Корректное закрытие сайта от индексации yahoo

123 4
[Удален]
3908

Возникло два вопроса:

1) В чем разница между эти директивами? 

User-agent: Slurp

Disallow: /

User-Agent: Yahoo! Slurp

Disallow: /

2) Будет ли разница если писать сначала директиву для Яху, а потом для всех остальных ботов или наоборот: сначала для всех ботов, а потом для Яху?

S
На сайте с 28.10.2005
Offline
318
semenov
#1

1. Второй вариант имхо правильней

2. Нет

:D

[Удален]
#2

Поставил второй вариант, всё равно гад шныряет как ни в чем ни бывало.

S
На сайте с 28.10.2005
Offline
318
semenov
#3

Роботс запрашивает?

Может не сразу заткнется, надо подождать

Оба варианта поставьте для надёги

[Удален]
#4
semenov:
Роботс запрашивает?

как узнать?

Mantius добавил 04.03.2009 в 21:59

semenov:
Оба варианта поставьте для надёги

поставил, жду

S
На сайте с 28.10.2005
Offline
318
semenov
#5

А как про запросы к сайту яхой узнали?

роботс покажите, может косячный?

[Удален]
#6

semenov, по строчке из текущей активности:

Бот Yahoo ( 67.195.37.165 ) Сегодня, 21:42

Mantius добавил 04.03.2009 в 22:05

Кстати, уже больше 20 минут молчит, на него это не похоже, так что посмотрим, может заметит файлик наконец.

S
На сайте с 28.10.2005
Offline
318
semenov
#7
Mantius:
как узнать?

В логах сервера посмотреть

[Удален]
#8

Вроде не заходил больше...

Возникает другой вопрос: как удалить уже имеющийся индекс в Яхе?

S
На сайте с 28.10.2005
Offline
318
semenov
#9

Само должно вывалиться со временем

[Удален]
#10

semenov, Сколько примерно ждать?

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий