Форум Сайтостроение Веб-строительство

Как замедить работу поискового робота?

ДЖАЗЗ!
На сайте с 10.02.2004
Offline
291
ДЖАЗЗ!
616

Приходит Гуглобот и подвешивает Мускул базу, хостер жалуется и хочет блокировать аккаунт.

Как с этим справится?

Есть ли какая директива, замедляющая скорость индексации сайта различными поисковыми ботами?

Carapax
На сайте с 27.03.2008
Offline
94
Carapax
#1 

User-agent: *

Crawl-delay: 10
играем (http://www.awro.ru/) спортивное питание (https://maxnutrition.ru/) магазин сантехники в спб (https://saniteka.ru/)
pikasso
На сайте с 27.01.2008
Offline
150
pikasso
#2

Crawl-delay для роботс.

pikasso добавил 21.10.2010 в 02:12

Опередили ;)

ЗЫ

А ещё можно в вебмастере гугла вручную указать желаемую скорость индексации, но это только для гугла.

newseditor
На сайте с 13.11.2006
Offline
123
newseditor
#3

А лучше хостера поменять.

A
На сайте с 19.07.2010
Offline
130
admak
#4

гугль-бот довольно культурный и по моим наблюдениям не частит.

1. проверьте в апачевском логе через какие промежутки времени он заходит.

2. посмотрите как быстро отрабатывает ваша CMS

3. в гугль вебмастере смотрите вкладку "Статистика сканирования" - там вы можете увидеть кол-во обращений бота, а самое главное - время отдачи страниц.

после этого или правите свою CMS(скрипты) или меняете хостера.

.............
Google рассказал, как 500 В Яндексе рассказали, как Google: после случайной блокировки

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий