Форум Поисковые системы Google

Бот Гугла укладывает сервер. Что делать

J
На сайте с 08.06.2006
Offline
844
joost
774

На сайте около 2 млн. стр. Бот гугла сошел сума - индексит все без перебора. Сервер не выдерживает.(сервер от фирстов) Что делать? Особо такой индексации и не нужно. Лижбы новые страници в индекс попадали.

neznaika
На сайте с 28.06.2006
Offline
356
neznaika
#1

1) Отдавать ему сгенеренный хтмл :)

2) настроить сервер;

3) ограничить скорость индексации:

User-agent: Yandex

Crawl-delay: 5 # задает таймут в 5 секунд

User-agent: Slurp

Crawl-delay: 5 # задает таймут в 5 секунд

итд

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.
kav
На сайте с 21.02.2006
Offline
159
kav
#2

в роботсе укажи Crawl-delay: *

*= секунды...

Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей.

Только эта директива должна стоять после всех дасаллоу..

Я знаю только то, что ничего не знаю © Сократ а когда я забываю даже это, вспоминаю про..... Форум - это такое место, где 2-е людей могут убедить в своих заблуждениях тысячи
J
На сайте с 08.06.2006
Offline
844
joost
#3
neznaika:
Crawl-delay: 5

индекрисовать по 1 странице каждые 5 сек.

Yeugeny
На сайте с 01.02.2008
Offline
42
Yeugeny
#4

Ну, и до кучи - в панели вебмастера в Гугле есть возможность изменить скорость индексации (обычно - активна только функция замедлить индексацию).

tobto
На сайте с 09.01.2007
Offline
66
tobto
#5

в сайтмепе указывать страницы для индексации с помощью “lastmod” либо как советует Yeugeny - хорошая мысль

эвакуатор (http://gruz-taxi.kiev.ua)
A
На сайте с 12.01.2006
Offline
61
Apalon
#6

да, с админки гугла действительно очень удобно управлять индексацией.

ГЛАВная фарма-партнерка. Удобные аптеки, детальная статистика, высокий конверт! (http://www.glavmed.com/) | 150$ Бонус всем новичкам в ПОКЕРЕ (http://ru.pokerstrategy.com/u1XCQ7) $$$ на дороге (http://www.sape.ru/r.b17970ce21.php)
D
На сайте с 20.05.2001
Offline
311
Drow
#7

Счас что не бот, то гугльбот. Первым делом надо смотреть IP бота. :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий