гугл вешает сервак

Avelon
На сайте с 05.07.2004
Offline
319
963

Друзья, прошу не пинать меня ногами, и обвинять в лопухавости, но последнее время

в час пик все сайты на одном сервере тупо висят. Саппорт мастерхоста, те еще нехорошие люди, молчат как партизаны, на письма отвечают односложными фразами, по звонку ничего не говорят отправляют на письменную заявку. Короче последний раз ответили они что у меня дофига тусуется поисковых роботов, при этом гугл на порядок лидирует!

в общем сегодня в полдесятого утра сайты опять все зависли наглухо, после чего гугл был нахрен забанен на сервере, после этого сайты потихоньку заработали.

насколько я знаю на crawl-delay гугл чихать хотел. подскажите как быть пожалуйста?

[Удален]
#1

В соседней теме написано что в обновленной версии Google Webmaster tools Вы можете регулировать скорость бота.

Я сегодня проверил. Такая опция там действительно появилась.

SilverMaster
На сайте с 08.10.2003
Offline
228
#2
Mosik:
В соседней теме написано что в обновленной версии Google Webmaster tools Вы можете регулировать скорость бота.

Я сегодня проверил. Такая опция там действительно появилась.

Да, есть там такая фишка, правда не понятно почему "Быстро" выключено, а топикстартеру советую не банить гугль на сервере, а код оптимизировать. Любому проекту должно быть за счастье, когда бот приходит, а вы его "банить". Вы его лучше мне пересылайте.

Из детских комшаров: "А вдруг ночью придет страшный робот!" Из взрослых: "И криво проиндексирует сайт". Не всякий гик добежит до середины поисковой страницы гугла
[Удален]
#3
SilverMaster:
правда не понятно почему "Быстро" выключено

У меня доступны все три пункта:

Быстрее (Повышенная скорость сканирования позволяет быстрее просканировать сайт, но может оказывать большую нагрузку на Ваш сервер.)

Нормальное (Рекомендуемая скорость сканирования.)

Медленнее (Более низкая скорость сканирования сокращает трафик робота Google на Вашем сервере, но может помешать нам сканировать сайт с прежней регулярностью.)

По умолчанию стоит Нормальное

SilverMaster
На сайте с 08.10.2003
Offline
228
#4

а у меня вот что

Частота, с которой робот Google сканирует Ваш сайт, зависит от многих факторов. В настоящее время скорость сканирования не влияет на регулярность. Если она начнет влиять на регулярность сканирования, то можно будет выбрать параметр Быстрее, расположенный ниже.
SunDrop
На сайте с 28.12.2005
Offline
34
#5

Тут правильнее всего было бы сказать: Нужно почитать логи :)

А детальнее:

Нужно определиться что конкретно "вешается"

а) Apache

б) PHP, PERL (на чем написан сайт)

в) MySQL (или на чем работает база)

(тут логи помогут)

Далее:

Случай (в - база данных). Как решать?

у MySQL есть лог медленных запросов. Необходимо сделать тщательный анализ этих запросов (в лог попадают запросы, которые выполняются больше указанного временного периода). После анализа необходимо просто:

0) настроить правильно ключи к таблицам

1) оптимизировать запросы

2) применить кэширование запросов (внутреннее кэширование средствами mysql + сериализация результата + другие средства программного кэширования)

(псевдо-кеш описан тут) Уменьшение нагрузки на MySQL за счет псевдо-кеширования

(оптимизация нагрузки MySQL) Часть-1 (EN), Часть-2 (EN)

(оптимизации, индексы, советы)Оптимальное использование MySQL

Для других БД, отличных от MySQL процедура похожая. Главное определиться с медленными запросами.

Случай (б - скрипты)

Смотришь, на каких страницах происходит зависание. Анализируешь время выполнения этих страниц, разбиваешь страницу на блоки, анализируешь время выполнения блоков и.т.д.

После анализа:

1) Оптимизация долговыполняющихся блоков

2) Кэширование (статическое) максимального количества блоков и страниц (везде, там где это возможно)

Кэширование в PHP

Буферизация вывода в PHP (EN)

3) Использование модуля MemCache на стороне сервера Memcache Functions (он имеется под разные языки)

Случай (а – HTTP-сервер)

1) Всю статику и графику можно вынести на другой сервер и отдавать ее с помощью thttpd

2) Дотянуть резервный канал

3) Поставить зеркало

И еще. Учти, что сервер может вешать НЕ только твой сайт!!!

И тут от тебя зависит только частота пинания тех. поддержки.

Но это самый худший вариант.

Очень надеюсь что это сообщение тебе поможет (пол рабочего дня на него убил :) )

В 20 лет он знал 9 операционных систем и 15 языков программирования, но ни одной женщины
Avelon
На сайте с 05.07.2004
Offline
319
#6
SilverMaster:
Да, есть там такая фишка, правда не понятно почему "Быстро" выключено, а топикстартеру советую не банить гугль на сервере, а код оптимизировать. Любому проекту должно быть за счастье, когда бот приходит, а вы его "банить". Вы его лучше мне пересылайте.

неизвестно что лучше

мне для русских сайтов гугл не особенно нужен, тем более так интенсивно, в 10-15 раз больше грузит чем все остальные боты вместе взятые, не офигенно ли?

Avelon
На сайте с 05.07.2004
Offline
319
#7
SunDrop:


Очень надеюсь что это сообщение тебе поможет (пол рабочего дня на него убил :) )

блин, спасибо огромное!

я пеперекинул все программисту, будем шевелить мозгами!

SunDrop
На сайте с 28.12.2005
Offline
34
#8
Avelon:
будем шевелить мозгами!

Удачи. Обращайтесь еще :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий