Чтобы попробовать получить ответ значительно быстрее, если кто-то из профессионалов согласится помочь.---------- Добавлено 20.07.2012 в 14:27 ----------
В access.log одного из сайтов нашёл такое (только небольшой кусок очень большого числа подобных запросов):
66.220.149.246 - - [19/Jul/2012:12:33:36 +0400] "GET /shop/UID_10154.html HTTP/1.1" 200 26176 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.249 - - [19/Jul/2012:12:34:38 +0400] "GET /shop/UID_10500.html HTTP/1.1" 200 26124 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.249 - - [19/Jul/2012:12:34:39 +0400] "GET /shop/UID_10506_\xd0\x9a\xd0\xb0\xd0\xbb\xd0\xbe\xd1\x88\xd0\xbd\xd0\xb8\xd1\x86\xd0\xb0%20\xd0\xa2\xd0\x9f05-477%20\xd0\xb8\xd0\xb7%20\xd0\xba\xd0\xbe\xd0\xbb\xd0\xbb\xd0\xb5\xd0\xba\xd1\x86\xd0\xb8\xd0\xb8%20\xd0\xa2\xd0\xb8\xd1\x84\xd1\x84\xd0\xb0\xd0\xbd\xd0\xb8%20(\xd0\xba\xd0\xbe\xd0\xb2\xd0\xba\xd0\xb0).html HTTP/1.1" 200 25983 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.249 - - [19/Jul/2012:12:34:38 +0400] "GET /shop/UID_10320.html HTTP/1.1" 200 25923 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.247 - - [19/Jul/2012:12:34:38 +0400] "GET /shop/UID_10570.html HTTP/1.1" 200 25927 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.245 - - [19/Jul/2012:12:34:38 +0400] "GET /shop/UID_10572.html HTTP/1.1" 200 25824 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.245 - - [19/Jul/2012:12:34:45 +0400] "GET /shop/UID_10418.html HTTP/1.1" 200 25846 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.251 - - [19/Jul/2012:12:34:44 +0400] "GET /shop/UID_105.html HTTP/1.1" 200 25765 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.247 - - [19/Jul/2012:12:33:40 +0400] "GET /shop/UID_10240_\xd0\xa1\xd0\xbf\xd0\xb0\xd0\xbb\xd1\x8c\xd0\xbd\xd1\x8f%20\xc2\xab\xd0\x9c\xd0\xb5\xd0\xb3\xd0\xb0\xd0\xbf\xd0\xbe\xd0\xbb\xd0\xb8\xd1\x81-3\xc2\xbb%20(\xd0\xb1\xd0\xb5\xd1\x81\xd0\xbf\xd0\xbb\xd0\xb0\xd1\x82\xd0\xbd\xd0\xb0\xd1\x8f%20\xd0\xb4\xd0\xbe\xd1\x81\xd1\x82\xd0\xb0\xd0\xb2\xd0\xba\xd0\xb0!).html HTTP/1.1" 200 27099 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.249 - - [19/Jul/2012:12:34:41 +0400] "GET /shop/UID_104.html HTTP/1.1" 200 25700 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.248 - - [19/Jul/2012:12:33:44 +0400] "GET /shop/UID_10175.html HTTP/1.1" 200 25608 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.248 - - [19/Jul/2012:12:34:47 +0400] "GET /shop/UID_10373.html HTTP/1.1" 200 25841 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.245 - - [19/Jul/2012:12:34:47 +0400] "GET /shop/UID_10476_\xd0\xa1\xd1\x82\xd0\xbe\xd0\xbb%20\xd0\xbe\xd0\xb1\xd0\xb5\xd0\xb4\xd0\xb5\xd0\xbd\xd0\xbd\xd1\x8b\xd0\xb9%20\xd0\x92\xd0\x9310-087%20\xd0\xb8\xd0\xb7%20\xd0\xba\xd0\xbe\xd0\xbb\xd0\xbb\xd0\xb5\xd0\xba\xd1\x86\xd0\xb8\xd0\xb8%20\xd0\x92\xd0\xb5\xd1\x80\xd1\x81\xd0\xb0\xd0\xbb\xd1\x8c%20(\xd0\xba\xd0\xbe\xd0\xb2\xd0\xba\xd0\xb0).html HTTP/1.1" 200 25761 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.244 - - [19/Jul/2012:12:34:47 +0400] "GET /shop/UID_10579.html HTTP/1.1" 200 26130 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.244 - - [19/Jul/2012:12:34:47 +0400] "GET /shop/UID_10562.html HTTP/1.1" 200 25985 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.251 - - [19/Jul/2012:12:34:47 +0400] "GET /shop/UID_10498.html HTTP/1.1" 200 26068 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.248 - - [19/Jul/2012:12:34:46 +0400] "GET /shop/UID_10398.html HTTP/1.1" 200 25900 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.246 - - [19/Jul/2012:12:34:46 +0400] "GET /shop/UID_10577.html HTTP/1.1" 200 26132 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.250 - - [19/Jul/2012:12:34:47 +0400] "GET /shop/UID_10405.html HTTP/1.1" 200 25889 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.244 - - [19/Jul/2012:12:34:48 +0400] "GET /shop/UID_10556.html HTTP/1.1" 200 25956 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.245 - - [19/Jul/2012:12:33:42 +0400] "GET /shop/UID_10272.html HTTP/1.1" 200 25898 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.248 - - [19/Jul/2012:12:34:51 +0400] "GET /shop/UID_10588.html HTTP/1.1" 200 26177 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.247 - - [19/Jul/2012:12:34:47 +0400] "GET /shop/UID_10455.html HTTP/1.1" 200 25862 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.246 - - [19/Jul/2012:12:34:54 +0400] "GET /shop/UID_10693.html HTTP/1.1" 200 25771 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.249 - - [19/Jul/2012:12:34:55 +0400] "GET /shop/UID_10692.html HTTP/1.1" 200 25800 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.250 - - [19/Jul/2012:12:34:46 +0400] "GET /shop/UID_10569.html HTTP/1.1" 200 25997 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.250 - - [19/Jul/2012:12:34:55 +0400] "GET /shop/UID_10687_\xd0\x9a\xd1\x80\xd0\xbe\xd0\xbd\xd1\x88\xd1\x82\xd0\xb5\xd0\xb9\xd0\xbd%20(\xd0\xbf\xd0\xbe\xd0\xb4\xd1\x81\xd1\x82\xd0\xb0\xd0\xb2\xd0\xba\xd0\xb0%20\xd0\xb4\xd0\xbb\xd1\x8f%20\xd0\xba\xd0\xb0\xd0\xb7\xd0\xb0\xd0\xbd\xd0\xb0).html HTTP/1.1" 200 25507 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.250 - - [19/Jul/2012:12:34:55 +0400] "GET /shop/UID_10584.html HTTP/1.1" 200 26504 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.249 - - [19/Jul/2012:12:34:52 +0400] "GET /shop/UID_1045.html HTTP/1.1" 200 26605 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.245 - - [19/Jul/2012:12:34:53 +0400] "GET /shop/UID_10543_\xd0\xa1\xd1\x82\xd0\xbe\xd0\xbb\xd0\xb8\xd0\xba%20\xd0\xb4\xd0\xbb\xd1\x8f%20\xd0\xbf\xd1\x80\xd0\xb8\xd0\xbd\xd1\x82\xd0\xb5\xd1\x80\xd0\xb0,%20\xd0\xbd\xd0\xbe\xd1\x83\xd1\x82\xd0\xb1\xd1\x83\xd0\xba\xd0\xb0%20\xd0\x9f\xd0\xa0-1%20(\xd0\xbc\xd0\xbd\xd0\xbe\xd0\xb3\xd0\xbe\xd1\x84\xd1\x83\xd0\xbd\xd0\xba\xd1\x86\xd0\xb8\xd0\xbe\xd0\xbd\xd0\xb0\xd0\xbb\xd1\x8c\xd0\xbd\xd1\x8b\xd0\xb9)%20004.html HTTP/1.1" 200 26327 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.251 - - [19/Jul/2012:12:34:58 +0400] "GET /shop/UID_10689_\xca\xee\xef\xf2\xe8\xeb\xfc\xed\xff%20\xe1\xfb\xf2\xee\xe2\xe0\xff%20\xe8\xe7%20\xed\xe5\xf0\xe6\xe0\xe2\xe5\xfe\xf9\xe5\xe9%20\xf1\xf2\xe0\xeb\xe8%20\xca\xc1\xcd-\xc1%20\xe1\xee\xeb\xfc\xf8\xe0\xff.html HTTP/1.1" 200 26530 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.249 - - [19/Jul/2012:12:34:56 +0400] "GET /shop/UID_10603.html HTTP/1.1" 200 25881 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.251 - - [19/Jul/2012:12:34:56 +0400] "GET /shop/UID_10550.html HTTP/1.1" 200 26081 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.246 - - [19/Jul/2012:12:34:54 +0400] "GET /shop/UID_10585.html HTTP/1.1" 200 26118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.248 - - [19/Jul/2012:12:35:00 +0400] "GET /shop/UID_10583.html HTTP/1.1" 200 26558 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.250 - - [19/Jul/2012:12:34:56 +0400] "GET /shop/UID_10683.html HTTP/1.1" 200 26985 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.248 - - [19/Jul/2012:12:35:00 +0400] "GET /shop/UID_10590.html HTTP/1.1" 200 26131 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.247 - - [19/Jul/2012:12:35:03 +0400] "GET /shop/UID_10707_\xd0\x91\xd0\xb0\xd0\xbd\xd0\xba\xd0\xb5\xd1\x82\xd0\xba\xd0\xb0%20\xd0\xa0\xd0\xb5\xd1\x82\xd1\x80\xd0\xbe%20\xd1\x81%20\xd1\x8f\xd1\x89\xd0\xb8\xd0\xba\xd0\xbe\xd0\xbc%20(\xd1\x81\xd0\xb5\xd1\x80\xd0\xb8\xd1\x8f%20\xd0\x9c\xd0\xb0\xd1\x81\xd1\x81\xd0\xb8\xd0\xb2).html HTTP/1.1" 200 26507 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" 66.220.149.249 - - [19/Jul/2012:12:35:03 +0400] "GET /shop/UID_10240_.html HTTP/1.1" 200 26991 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)"
Сервер положил Facebook? 😮 IP его.
top - 13:21:31 up 50 days, 19:50, 1 user, load average: 0.92, 1.19, 1.17 Tasks: 93 total, 4 running, 89 sleeping, 0 stopped, 0 zombie Cpu(s): 11.6%us, 9.8%sy, 0.0%ni, 75.5%id, 1.0%wa, 0.0%hi, 0.1%si, 1.9%st Mem: 2057636k total, 1489880k used, 567756k free, 245464k buffers Swap: 522072k total, 3972k used, 518100k free, 805552k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 11646 apache 20 0 40696 18m 4972 R 13.5 0.9 0:06.53 /usr/sbin/httpd 11669 apache 20 0 38164 16m 5060 R 7.7 0.8 0:03.07 /usr/sbin/httpd 11650 apache 20 0 39500 17m 4388 R 1.9 0.8 0:06.12 /usr/sbin/httpd 11705 root 20 0 2420 984 740 R 0.0 0.0 0:00.00 top -b -n 1
То, что нужно?
Это одна из возможных причин заняться задачей самому. Другие возможные: желание и возможность поработать над ней самостоятельно и, как писал zexis, неуверенность в том, что выбранные специалисты сделают то, что нужно, лучше.
И это абсолютно логично. Жигули в данном случае соответствует моему серверу, а ауди - нескольким серверам с разной "начинкой" и high-load сайтами/сервисами. Так что у нас с Вами противоречий, мне кажется, нет совсем. :)
Himiko, всё верно, но про операции это Вы загнули. :) Несравнимые вещи по возможным последствиям непрофессионального вмешательства.
И потом, в данном случае речь не идёт о том, чтобы стать профессиональным админом. Речь об "уходе" за своим личным (ну, почти) сервером с несколькими не high-load сайтами. Аналогичный пример: многие автовладельцы самостоятельно содержат свой автомобиль в хорошем или даже прекрасном состоянии, не имея дело с автосервисами.
Да, для всех сайтов на сервере обязательно проверю. Спасибо.
Чуть выше я писал, что пользоваться этим, к сожалению, пока не умею. Не отказываюсь, :) но нужно время.
Да, об Nginx думаем. Попробуем обойтись оптимизацией сервера и сайтов, а если не сработает, то, придётся, наверное, памяти больше поставить для начала. Спасибо за советы.
Тоже прямо сейчас не смогу, к сожалению.
Говорят разное. Некоторые уверяют, что я таки дурак. :) А некоторые дают дельные советы, за что им большое спасибо.
Администраторами не рождаются, верно? При желании, способностях и наличии времени на получение нужных знаний можно достаточно хорошо разобраться в этих вопросах.
Спасибо за Ваше мнение. Ни в коем случае не хочу злоупотреблять Вашим временем.
Если кто-нибудь всё же попробует что-то посоветовать, буду очень признателен. Вроде не дурак, попробую разобраться в том, что скажете. :)
top и вообще подобные юниксовые/линуксовые инструменты я не умею использовать, к сожалению. Умел бы - думаю, что не задавал бы подобные вопросы. :)
Процессы выложил для того, чтобы, возможно, вы подсказали бы какие-то подозрительные, необычные для стандартной работы сервера. Моя догадка насчёт слишком большого числа процессов apache верна?
Логи, конечно, изучать буду. Посоветуйте, пожалуйста, что следует искать в них в подобных случаях?
По запросу "ключ site:url" (НЧ, Москва, тематика мебельная) вижу "Нашлось 13 ответов" и 2 страницы в навигации. Перехожу на вторую страницу и вижу уже "Нашлось 70 ответов" и 7 страниц. Явно не стоит верить пока числу страниц, выдаваемому Яндексом.
Ещё говорят/пишут, что некоторые хостинги ограничивают деятельность поисковых и прочих ботов, и из-за этого часть посещений может быть потеряна. Так ли это?
Если да, то применяется ли это только к шаред-хостингу или к VDS/VPS тоже?
