Форум Практика оптимизации Поисковые технологии

Yahoo и robots.txt

[Удален]
763

В роботсе прописано:

User-agent: Slurp

Disallow: /

Host: site.ru

Но Яха проиндексировал морду. Почему ?

Запрет стоит с самого начала жизни сайта.

wizzer
На сайте с 23.02.2009
Offline
152
wizzer
#1

смею предположить, что надо прописать 2 юзерагента - yahoo и slurp

//wizzer Проверенный временем опен впн сервис. (http://openvpn.cc) Перестань переживать за свою анонимность.
[Удален]
#2
wizzer:
смею предположить, что надо прописать 2 юзерагента - yahoo и slurp

Хммм... Везде говорят об одном. Да и по логам только за роботс.txt дергает он.

iren K
На сайте с 28.12.2008
Offline
222
iren K
#3

у Yahoo много ботов - эффективней через USER_AGENT в .htaccess запретить, что-то типа:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Yahoo.*

RewriteRule ^.* - [F,L]

c уважением Iren
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4

А зачем хост в секции Yahoo?

[Удален]
#5

[hicks] добавил 22.10.2009 в 15:05

kimberlit:
А зачем хост в секции Yahoo?

Спасибо :)

Думаю дело именно в этом.

Правильно будет так ?

User-agent: Slurp
Disallow: /

User-agent: *
Disallow:
Host: site.ru
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#6
[hicks:
]Правильно будет так ?

Host вообще-то только для Yandex ...

wizzer
На сайте с 23.02.2009
Offline
152
wizzer
#7

[hicks], нет. директива host работает только для Яндекса

[Удален]
#8

Тогда так ? 

User-agent: Slurp

Disallow: /



User-agent: Yandex

Disallow:

Host: site.ru



User-agent: *

Disallow:
wizzer
На сайте с 23.02.2009
Offline
152
wizzer
#9

теперь всё верно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий