Оптимизировать работу поисковых и индексирующих ботов

VD
На сайте с 20.03.2009
Offline
120
410

Добрый день. Многочисленные запросы, обрабатываемые продолжительное время со стороны поисковых и индексирующих ботов тормозят сервер портала - постоянно появляется заглушка, что слишком много обращений к сайту. Необходимо как-то оптимизировать их работу. Как это вообще делается, помогите пожалуйста.

Налоговый портал Подати.net ( http://www.podati.net )
дани мапов
На сайте с 06.09.2012
Offline
204
#1

/ru/forum/446294

Неужели такие многочисленные запросы? Может время подумать о новом хостинге?

Написание и доработка скриптов (PHP, MySQL, JavaScript, jQuery) (/ru/forum/811046)
VD
На сайте с 20.03.2009
Offline
120
#2

да, вроде как очень много запросов от яндекса, гугла

V
На сайте с 05.08.2007
Offline
87
#3
VectorD:
Многочисленные запросы, обрабатываемые продолжительное время со стороны поисковых и индексирующих ботов тормозят сервер портала

Как по мне, нужно не роботами разбираться, с сайтом, кешированием, настроками сервера и его компонентов.

"Сайт, который неспособен принять на себя запросы поисковых систем, недостоин быть представленым в интернет"(с)

---

Виктор

С уважением, Victor (http://adm-lib.ru)
[Удален]
#4
VGrey:
Как по мне, нужно не роботами разбираться, с сайтом, кешированием, настроками сервера и его компонентов.
"Сайт, который неспособен принять на себя запросы поисковых систем, недостоин быть представленым в интернет"(с)

---
Виктор

Определенно, роботы поисковиков просто не могут настолько грузить сайт, что он аж падает периодически, это либо хостинг у вас такой, который списывает свои косяки на якобы "роботов", либо действительно у вас на сайте столько суперсложных механизмов, и начисто отключен кэш, дак тут любое мало-мальское действие робота или пользователя может вызвать падение сайта.

Милованов Ю.С
На сайте с 24.01.2008
Offline
196
#5

Посмотрите, попробуйте.

Ну и кэширование юзайте, если его нет.

Подпись))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий