Спасибо, так наверно и сделаю
Обращался к разработчику - он на выходных не отвечает, а в понедельник сайт отключат за нагрузку. Непонятно, что случилось - до этого с роботами проблем не было. Грузит только гуглбот, причём переходит по страницам, которые вобще не существуют, например в этой ссылке
/sport/tovary-dlya-sporta/Puteshestviya-otdyh-razvlecheniya/Prochee/Uslugi/Proizvodstvennye-uslugi/Poligrafiya-reklama-SMI/Reklama-v-obshestvennyh-mestah/Uslugi/Montazh-naladka-ustanovka/Biznes-i-torgovlya/Konsalting-ocenka-ekspertiza/Elektrichestvo-i-energetika/Elektrotovary-osveshenie/Avtotransport/Avtomagnitoly-DVD/
сразу несколько разделов - Спорт, Путешествия, Услуги, Полиграфия и реклама, опять услуги, Бизнес и торговля, Электроника и т.д - разные разделы в одной ссылке. По таким ссылкам можно переходить бесконечно.
Ответьте пожалуйста, кто знает в чём дело. Гугловский робот создаёт новые непонятные страницы, собирает в кучу все разделы - так порлучается бесконечное кол-во страниц. Вот доска http://www.doska-obyavlenj.ru/
Дело в том, что робот гугла начал сканировать сайт, собирая в кучу адреса, создавая большую нагрузку на сервер - с превышением в 10-20 раз. Пришло письмо с панели Вм гугла:
Робот Googlebot столкнулся с проблемами при сканировании вашего сайта.
Робот Googlebot обнаружил чрезвычайно большое количество ссылок на вашем сайте. Это может свидетельствовать о проблеме, связанной со структурой URL-адресов сайта. Возможно, робот Googlebot без необходимости сканирует большое количество различных URL, указывающих на идентичное или похожее содержание, либо сканирует разделы сайта, не требующие сканирования. В результате робот Googlebot может потреблять гораздо больше ресурсов канала передачи данных, чем необходимо. Кроме того, есть вероятность, что он не сможет полностью просканировать все содержание сайта.
Подробнее об этой проблеме
Приводим примерный список URL-адресов с возможными проблемами. Обратите внимание, что данный список может быть неполным.
Сайт - доска объявлений, вот начало списка адресов:
/sport/tovary-dlya-sporta/Biznes-i-torgovlya/Akcii-i-cennye-bumagi/Mobilnye_telefony/Telefony/Novye/Yurisprudenciya-i-obshestvo/Prava-zashita-prav/Nedvizhimost/Ofisy/Stanki-promyshlennye/Derevoobrabatyvayushie-stanki/
/sport/tovary-dlya-sporta/Biznes-i-torgovlya/Akcii-i-cennye-bumagi/Mobilnye_telefony/Telefony/Novye/Selskoe-hozyaistvo/Zemlya-selhoz-ugodya/Internet/Skachat-programmy-soft/Stroitelstvo-i-remont/Ventilyaciya-kondicionirovanie/Biznes-i-torgovlya/Sponsory/Nedvizhimost/Komnaty-kvartiry/Legkaya-promyshlennost/Tkani-shveinaya-promyshlennost/Medicina-i-zdorove/Medicinskii-instrument/
/sport/tovary-dlya-sporta/Les-derevoobrabotka/Drugie-izdeliya-iz-dereva/Stroitelstvo-i-remont/Individualnoe-stroitelstvo/Odezhda-promyshlennye-tovary-i-izdeliya/Odezhda-i-obuv/Odezhda-promyshlennye-tovary-i-izdeliya/Posuda/Avtotransport/Lodki-katera-gidrocikly-yahty/Elektronika_i_bytovaya_tehnika/Gladilnoe-i-shveinoe-oborudovanie/Instrument-osnastka/Pnevmaticheskii-instrument/Elektrichestvo-i-energetika/Elektrotovary-osveshenie/
/sport/tovary-dlya-sporta/Podarki/Podarochnye-nabory/Mobilnye_telefony/Telefony/Novye/Poligrafiya-reklama-SMI/Nanesenie-logotipov/Bezopasnost-ohrana/Bezopasnost-v-kommercii/Stroitelstvo-i-remont/Otdelochnye-raboty/Biznes-i-torgovlya/Akcii-i-cennye-bumagi/Mebel,_interer,_obihod/Mebel-dlya-ofisa/
/sport/tovary-dlya-sporta/Kompyutery-i-orgtehnika/Kompyutery/Uslugi/Organizaciya-i-provedenie-svadeb-torzhestv/Medicina-i-zdorove/Narodnaya-medicina-travy/Prodovolstvie-produkty-pitaniya/Alkogolnye-napitki/Sport/Sportivnyi-transport/Medicina-i-zdorove/Stomatologiya-zuboprotezirovanie/
Нагрузка с моих сайтов подскочила до немыслимых пределов, и если бы не выходные, уже бы отключили.
Я уже для гуглбота написал crawl-delay 40, изменил url раздела /sport/, нагрузка немного снизилась, но это же не решение. Подскажите пожалуйста, что можно сделать в этой ситуации
Общетематические доски, много разделов. Можно разместить объявление надолго
http://www.doski-vip.ru/
http://doski-club.ru/
http://www.doski-obyavlenij.ru/
http://www.mir-obyavlenij.ru/
http://www.board-sale.ru/
А что сделать, не подскажете?
Навеное, как-то была подобная ситуация, переносили на другой сервер с php2
/public_html/smarty/compile/kebettea^%%99^990^9905EE73%%list.html.php on line 148
Я же Host писал, в Robots.txt, чтобы склеить зеркала с www и без, добавил редирект 301 в htaccess, может надо 2 раза, например, с www написать, если гл. зеркало с www
Скажите, а host надо писать несколько раз, для каждого робота (в этом случае для заркал с www и без - у меня host прописан на сайтах, см. robots.txt). Я например, ограничил робота Яндекс, надо ли ещё раз host писать или одного раза хватит?
User-agent: *
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /sendmail/
Disallow: /services.html
Disallow: /add/select/cat/
Disallow: /add/select/region/
Disallow: /css/
Disallow: /js/
Disallow: /pay/
Disallow: /change_region/
Disallow: /region_changer/
Disallow: /users/
Disallow: /*users
Disallow: /cgi-bin/
Disallow: /billing/
Disallow: /commands/
Disallow: /includes/
Disallow: /locale/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /profile
Disallow: /registration
Disallow: /*type=
Disallow: /*noimg=
Disallow: /*price=
Disallow: /*users=
Disallow: /*name=
Disallow: /*from=
Disallow: /*notepad
Disallow: /*redirect.php
Disallow: /*redirect
Crawl-delay: 4
User-agent: Yandex
Crawl-delay: 40
Host: site.ru---------- Добавлено 15.08.2013 в 12:53 ----------Запрет через robots.txt начнёт действовать недели через две?
