Сайт на WP грузит серв

35

dizpers

23 апреля 2011, 12:23

608

Всем привет! Такая проблема - в последнее время стало часто и резко возрастать потребление памяти сайтами не сервере (стоит 2 сайта на wp 3.x, 1 на joomla 1.5.x и 1 на webasyst).

Первое что заметил, что в логах очень много запросов с юзерагентом Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) - тоесть бот яши, индексирующий картинки. И обращается он к сайтам на wp. Важно то, что картинок на обоих сайтах дофига - в последнем логе я насчитал 26к запросов от бота - это для одного сайта только. Отсюда вопрос - стоит ли как-то настроить сервер, чтобы он не так сильно грузился от рыскающих ботов или же это проблема в скриптах, или же надо ограничить доступ ботов к картинкам вообще (что как я понимаю не желательно, так как индексация картинок дает какой-то но трафик).

Второе, что я заметил, это то, что у для одного из сайтов на wp во время повышенной нагрузки очень много запросов /wp-login.php?redirect_to=http%3A%2F%2Fwww.мойурл.ru%2Fwp-admin%2Fpost.php%3Fpost%3D13602%26action%3Dedit&reauth=1 - причем не такого вида запросов, а именно этот запрос повторяется очень много раз. Использую top, затем нажимаю a - и вижу во время повышенной нагрузки больше половины всех обращений к сайтам - именно запрос, описанный выше. Вопрос - что это может быть? Как побороть?

Заранее благодарю за ответы!

Лью траф сюда, высокий конверт! (http://bit.ly/SSE20b)

456

[umka]

23 апреля 2011, 12:37

#1

Выставите для этих ботов в robots.txt интервал секунд 10

Лог в помощь!

D

35

dizpers

23 апреля 2011, 12:40

#2

Изначально не выставлял вообще никакого Crawl-delay - сайт во время этих нагрузок уходил в 502ую. Выставл 5 сек - сайт перестал падать, но памяти остается 200-300мб (из 4гб). Сколько вообще можно максимум установить этот параметр? Я вот думал - а можно ли как то сказать боту, чтобы он не индексирова каждый день старые картинки - они не обновиляются.

Яндекс отказался от учета Как повлиять на скорость В Google рассказали, что

456

[umka]

23 апреля 2011, 12:51

#3

dizpers:
Сколько вообще можно максимум установить этот параметр?

Думаю, на 10 секунд ни кто не обидится :)

dizpers:
Я вот думал - а можно ли как то сказать боту, чтобы он не индексирова каждый день старые картинки - они не обновиляются.

Если у вас для них выдаётся корректный заголовок "Last-Modified" или сервер понимает "If-Modified-Since", то старые картинки индексироваться не должны.

D

35

dizpers

23 апреля 2011, 12:55

#4

'[umka:

Если у вас для них выдаётся корректный заголовок "Last-Modified" или сервер понимает "If-Modified-Since", то старые картинки индексироваться не должны.

а как это проверить?:)

PS

кстати, в поисках методово оптимизации сайтов, в сети наткнулся на такой вариант .htaccess (который я с радостью и использую):


<IfModule mod_expires.c>
  ExpiresActive On
  ExpiresDefault A86400    
  ExpiresByType image/x-icon A2592000
  ExpiresByType application/x-javascript A2592000
  ExpiresByType text/css A2592000
  ExpiresByType image/gif A604800
  ExpiresByType image/png A604800
  ExpiresByType image/jpeg A604800
  ExpiresByType text/plain A604800
  ExpiresByType application/x-shockwave-flash A604800
  ExpiresByType video/x-flv A604800
  ExpiresByType application/pdf A604800
  ExpiresByType text/html A900
</IfModule>


<IfModule mod_header.c>
  # 3 Month
  <FilesMatch "\.(flv|gif|jpg|jpeg|png|ico|swf)$">
    Header set Cache-Control "max-age=7257600"
  </FilesMatch>
  # 1 Week
  <FilesMatch "\.(js|css|pdf|txt)$">
    Header set Cache-Control "max-age=604800"
  </FilesMatch>
  # 10 Minutes
  <FilesMatch "\.(html|htm)$">
    Header set Cache-Control "max-age=600"
  </FilesMatch>
  # NONE
  <FilesMatch "\.(pl|php|cgi|spl)$">
    Header unset Cache-Control
    Header unset Expires
    Header unset Last-Modified
    FileETag None
    Header unset Pragma
  </FilesMatch>
</IfModule>

456

[umka]

23 апреля 2011, 13:32

#5

dizpers:
а как это проверить?:)

Запросите файлик с картинкой и проверьте, выдаёт ли сервер этот заголовок и совпадает ли дата с датой последнего изменения файла.

Mac:~ umka$ telnet www.gig.ru 80
Trying 195.211.248.4...
Connected to www.gig.ru.
Escape character is '^]'.
HEAD /images/logo.png HTTP/1.1
Host: www.gig.ru

HTTP/1.1 200 OK
Date: Sat, 23 Apr 2011 13:30:02 GMT
Server: httpd
Last-Modified: Sat, 09 Jan 2010 12:19:39 GMT
ETag: "3102815-517-4b48745b"
Accept-Ranges: bytes
Content-Length: 1303
Content-Type: image/png

D

35

dizpers

23 апреля 2011, 14:02

#6

У меня на одном IP висят несколько сайтов, поэтому при попытке коннекта через телнет получаю в ответ 302 - как можно правильно запросить адрес по телнету, чтобы он автоматом прошел редирект?

dizpers добавил 23.04.2011 в 22:51

Народ, может у кого еще идеи есть?:) Буду очень благодарен, не охото чтобы сайт так постоянно висел:)

Оптимальная длина текста Геокластер из дешевых VPS У кого есть оплаченный

Что делать, если ваша email-рассылка попала в спам

Курс биткоина превысил $50 тысяч