Yahoo постоянно сканирует сайт...

LinkTravel
На сайте с 16.01.2006
Offline
69
477

Это хорошо или "закрыть" его?

Просто не видел ни одного пользовательского захода с него.

Или может быть его "базу" используют другие поисковики?

Сайт русскоязычный.

kolobok74
На сайте с 29.01.2006
Offline
267
#1

Закрыть.

Нет никакого смысла от этого бота при русскоязычности ресурса.

А трафик жрет тоннами.

ARCOS
На сайте с 15.09.2005
Offline
131
#2
LinkTravel:
Это хорошо или "закрыть" его?

Закройте, если нагружает сервер...

LinkTravel:
Просто не видел ни одного пользовательского захода с него.

И врядли дождетесь, на русскоязычные ресурсы Яху трафик не дает.

AVV
На сайте с 31.07.2006
Offline
84
AVV
#3

Напишите в роботс.тхт:

User-agent: Slurp

Crawl-delay: 10

вместо 10 поставьте, через сколько секунд Slurp должен брать следующую страницу с сайта. Число - любое, больше или меньше. И он перестанет досить.

См.: http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

I
На сайте с 02.12.2005
Offline
99
#4

ещё можно на всех страницах сайта между тегами <head></head> прописать

<META NAME="Slurp" CONTENT="noindex">

Динамика изменения курса евро и бакса (http://valuta.itemp.ru/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий