Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Ограничение скорости ПАУКАМ!?

12
M0DeSTix
На сайте с 09.11.2005
Offline
112
M0DeSTix
#11
Andreyka:
Ребята, просто берите нормальный хостинг где таких проблем нет by design.

Вообще-то вопрос стоит как "Ограничение скорости ПАУКАМ!?", на любом хостинге! Там где таких проблем нет, просто этот вопрос уже решили. У многих есть свои сервера на чужих площадках, у некоторых даже свои площадки. Так что хотелось бы вмести найти оптимальное решение проблемы, а не получать бесполезные ответы!:(

Умное лицо - это еще не признак ума господа. Все глупости на земле делаются именно с этим выражением лица. Улыбайтесь, господа, улыбайтесь!:) платная ссылка (http://www.mattcutts.com/)
Сайт всё ниже в Яндекс кобласит Упали просмотры на "длинных"
Dybra
На сайте с 23.10.2005
Offline
84
Dybra
#12
M0DeSTix:
Вообще-то вопрос стоит как "Ограничение скорости ПАУКАМ!?", на любом хостинге! Там где таких проблем нет, просто этот вопрос уже решили. У многих есть свои сервера на чужих площадках, у некоторых даже свои площадки. Так что хотелось бы вмести найти оптимальное решение проблемы, а не получать бесполезные ответы!:(

Ну можно написать правила для каждого паука но это очень муторно плюс они часто меняются. Наверное более правильно прописывать robots.txt и для гугля сделать карту сайта чтобы он лазил только на определенные страницы как наибольший потребитель трафика.

Мы из ВЫКСЫ (http://wyksa.ru)!
Переезд старого самописного сайта Вопрос тем, кто на Google Updates - апдейты
M0DeSTix
На сайте с 09.11.2005
Offline
112
M0DeSTix
#13
Dybra:
Ну можно написать правила для каждого паука но это очень муторно плюс они часто меняются. Наверное более правильно прописывать robots.txt и для гугля сделать карту сайта чтобы он лазил только на определенные страницы как наибольший потребитель трафика.

Это хороший вариант, но Гугля как то правила robots.txt не всегда соблюдает + карта у меня есть, но он её хавает тоже не понятно по какому расписанию!:(

C
На сайте с 19.09.2001
Offline
120
Cherny
#14

Относительно просто можно ограничить потребление трафика от ботов Yahoo и MSN (Slurp и msnbot соответственно) при помощи директивы Crawl-delay в robots.txt.

Если роботы Гугля много едят на сайте, то стоит посмотреть, что именно они едят. Очень может быть, что всякий мусор, вроде страниц с сессиями или страниц для печати, тогда эти страницы надо просто запретить индексировать. Если же сильно большая нагрузка, то в помощи рекомендуется с ними связаться:

Поисковый робот Google сканирует сайт слишком быстро. Что делать?

Свяжитесь с нами. Укажите URL своего сайта и подробно опишите проблему. Также приложите фрагмент веб-журнала, где зарегистрировано обращение поискового робота Google, чтобы мы могли быстро выявить проблему.
С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий