Индексация большого сайта

12
богоносец
На сайте с 30.01.2007
Offline
709
#11

Какому именно богу слава?

По логам пробежитесь:

Madmax66:
Процент не смотрел

А вдруг писатель бота придумал делать чисто статистическую оценку полезности/новизны/хз-чего...

Самым долгим для бота оказывается HTTP-траф... боту не нужно 70% лишних обращений. Это завышает себестоимость вашей индексации.

Когда делаете сайт, думать о боте надо до начала. И думайте что ему скармливать, а что позакрывать в роботсе (для “по подписке”), хелпы читайте...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий