Сервер не выдерживает поисковых ботов. Как "правильно" ограничить индексирование?

50

lwz

12 июля 2008, 19:12

611

Сабж... Думаю интерес не у меня одного...

336

one

12 июля 2008, 19:24

#1

Ну думаю закрыть в роботс от индекса все ненужное и смотреть... А лучше всего менять сервер и не париться...

Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.

[Удален]

12 июля 2008, 19:29

#2

Чаще всего грузит Яху. Так что

User Agent: Yahoo! Slurp

Disallow: /

Как вариант - поставить:

User Agent: *

Crawl Delay: 3000

SW

14

SumyWeb

12 июля 2008, 19:29

#3

Что ж это за сервер такой... Мне б столько поисковых ботов :)

Новые фильмы без смс, файлообменников и рекламы на максимальной скорости! (http://dvdripvideo.ru/)

[Удален]

12 июля 2008, 19:35

#4

SumyWeb:
Что ж это за сервер такой... Мне б столько поисковых ботов

Повторюсь, именно Yahoo! Slurp известен своими неумеренными аппетитами, которые могут действительно даже положить сервак.

_

299

_Ad

12 июля 2008, 20:38

#5

ну когда как.. вот яндекс повадился каждый день шерстить форум с мильоном постов.. статистика такую жесть показывает :)

G

48

greatorange

12 июля 2008, 20:59

#6

lwz, если контент не сильно обновляется возможно настроить last modified.

Если бот гугла можно в вебмастер тулсах снизить скорость.