Ограничить Yahoo доступ к сайту

ни коим образом

Вначали поставил 100 000 потом выставил 10 000 сейчас так и стоит, бот заметно режи стал ходить. И позиции в Яхо упали... думаю что из-за того что ограничил доступ боту ихнему..

На одном домене, яху хавает бесконечный дорвей уже месяца 4 как, обычно со скоростью 0,4-0,7 Mbps. Но стоит серваку ребутнуться - график резко проваливается и восстанавливается в течении нескольких часов. А на прошлой неделе хостер сервак раз десять ребутнул за ночь, и график плавненько начал падать, вплоть до 20 kbps.

Можно брать способ на вооружение -)

По экспериментировал со значением в Crawl-delay: и вот что заметил чем реже заходит бот тем позиции хуже, например когда стояла цифра 500, сайт был в седьмом десятке поставил 5 сайт вышел на первую страницу поиска через дня 3. Так же после того как начал вести логи на сервере обнаружил, что люди всё таки идут с Yahoo! Правда очень мало примерно в сутки 2 человека, 70 человек за месяц, для сравнения с яндекса почти в 100 раз больше, а Yahoo! лог файл забивает прилично и нагружает MySQL. Правда стоит заметить эти люди пришли во время тестирования ограничения доступа к сайту яхо боту, посмотрим что будет дальше со значением 5.