Интервал для гуглбота

Дело в том, что робот гугла начал сканировать сайт, собирая в кучу адреса, создавая большую нагрузку на сервер - с превышением в 10-20 раз. Пришло письмо с панели Вм гугла:

Робот Googlebot столкнулся с проблемами при сканировании вашего сайта.

Робот Googlebot обнаружил чрезвычайно большое количество ссылок на вашем сайте. Это может свидетельствовать о проблеме, связанной со структурой URL-адресов сайта. Возможно, робот Googlebot без необходимости сканирует большое количество различных URL, указывающих на идентичное или похожее содержание, либо сканирует разделы сайта, не требующие сканирования. В результате робот Googlebot может потреблять гораздо больше ресурсов канала передачи данных, чем необходимо. Кроме того, есть вероятность, что он не сможет полностью просканировать все содержание сайта.

Подробнее об этой проблеме

Приводим примерный список URL-адресов с возможными проблемами. Обратите внимание, что данный список может быть неполным.

Сайт - доска объявлений, вот начало списка адресов:

/sport/tovary-dlya-sporta/Puteshestviya-otdyh-razvlecheniya/Prochee/Uslugi/Proizvodstvennye-uslugi/Poligrafiya-reklama-SMI/Reklama-v-obshestvennyh-mestah/Uslugi/Montazh-naladka-ustanovka/Biznes-i-torgovlya/Konsalting-ocenka-ekspertiza/Elektrichestvo-i-energetika/Elektrotovary-osveshenie/Avtotransport/Avtomagnitoly-DVD/

/sport/tovary-dlya-sporta/Biznes-i-torgovlya/Akcii-i-cennye-bumagi/Mobilnye_telefony/Telefony/Novye/Yurisprudenciya-i-obshestvo/Prava-zashita-prav/Nedvizhimost/Ofisy/Stanki-promyshlennye/Derevoobrabatyvayushie-stanki/

/sport/tovary-dlya-sporta/Biznes-i-torgovlya/Akcii-i-cennye-bumagi/Mobilnye_telefony/Telefony/Novye/Selskoe-hozyaistvo/Zemlya-selhoz-ugodya/Internet/Skachat-programmy-soft/Stroitelstvo-i-remont/Ventilyaciya-kondicionirovanie/Biznes-i-torgovlya/Sponsory/Nedvizhimost/Komnaty-kvartiry/Legkaya-promyshlennost/Tkani-shveinaya-promyshlennost/Medicina-i-zdorove/Medicinskii-instrument/

/sport/tovary-dlya-sporta/Les-derevoobrabotka/Drugie-izdeliya-iz-dereva/Stroitelstvo-i-remont/Individualnoe-stroitelstvo/Odezhda-promyshlennye-tovary-i-izdeliya/Odezhda-i-obuv/Odezhda-promyshlennye-tovary-i-izdeliya/Posuda/Avtotransport/Lodki-katera-gidrocikly-yahty/Elektronika_i_bytovaya_tehnika/Gladilnoe-i-shveinoe-oborudovanie/Instrument-osnastka/Pnevmaticheskii-instrument/Elektrichestvo-i-energetika/Elektrotovary-osveshenie/

/sport/tovary-dlya-sporta/Podarki/Podarochnye-nabory/Mobilnye_telefony/Telefony/Novye/Poligrafiya-reklama-SMI/Nanesenie-logotipov/Bezopasnost-ohrana/Bezopasnost-v-kommercii/Stroitelstvo-i-remont/Otdelochnye-raboty/Biznes-i-torgovlya/Akcii-i-cennye-bumagi/Mebel,_interer,_obihod/Mebel-dlya-ofisa/

/sport/tovary-dlya-sporta/Kompyutery-i-orgtehnika/Kompyutery/Uslugi/Organizaciya-i-provedenie-svadeb-torzhestv/Medicina-i-zdorove/Narodnaya-medicina-travy/Prodovolstvie-produkty-pitaniya/Alkogolnye-napitki/Sport/Sportivnyi-transport/Medicina-i-zdorove/Stomatologiya-zuboprotezirovanie/

Нагрузка с моих сайтов подскочила до немыслимых пределов, и если бы не выходные, уже бы отключили.

Я уже для гуглбота написал crawl-delay 40, изменил url раздела /sport/, нагрузка немного снизилась, но это же не решение. Подскажите пожалуйста, что можно сделать в этой ситуации

Ответьте пожалуйста, кто знает в чём дело. Гугловский робот создаёт новые непонятные страницы, собирает в кучу все разделы - так порлучается бесконечное кол-во страниц. Вот доска http://www.doska-obyavlenj.ru/

1. Рекомендую разобраться с используемым движком для вашей доски объявлений. С этим лучше обратиться к его разработчику, если не получится, то к толковому программисту. Или же использовать другой движок.

2. Если только гугл бот создает нагрузку на сервер своим присутствием, то лучше возьмите тарифный план получше. Потому что при появлении траффика в виде пользователей ваш сайт будет лежать.

3. Для снижения нагрузки стоит ограничить доступ ненужным ботам для вашего сайта, которые создают ненужный трафф и нагрузку, оставив доступ только нужным.

Обращался к разработчику - он на выходных не отвечает, а в понедельник сайт отключат за нагрузку. Непонятно, что случилось - до этого с роботами проблем не было. Грузит только гуглбот, причём переходит по страницам, которые вобще не существуют, например в этой ссылке

/sport/tovary-dlya-sporta/Puteshestviya-otdyh-razvlecheniya/Prochee/Uslugi/Proizvodstvennye-uslugi/Poligrafiya-reklama-SMI/Reklama-v-obshestvennyh-mestah/Uslugi/Montazh-naladka-ustanovka/Biznes-i-torgovlya/Konsalting-ocenka-ekspertiza/Elektrichestvo-i-energetika/Elektrotovary-osveshenie/Avtotransport/Avtomagnitoly-DVD/

сразу несколько разделов - Спорт, Путешествия, Услуги, Полиграфия и реклама, опять услуги, Бизнес и торговля, Электроника и т.д - разные разделы в одной ссылке. По таким ссылкам можно переходить бесконечно.

Тогда лучше пока на время закрыть ему доступ на ваш сайт. Это снизит нагрузку и не закроют хостинг. А после пусть разработчик внесет нужные исправления в движок. Судя по описанию проблемы где то ошибка все же есть.

Спасибо, так наверно и сделаю

gera01, я не думаю что это робот создает эти ошибки, видимо в коде дыра где-то.

вот это действительно хороший совет.