Приходит робот Яндекса и валит сайт. Посоветуйте, что сделать!

1 23
O
На сайте с 08.01.2002
Offline
157
og
#21
MaxB:
3. Не нужно все перегонять в статику, особенно если сайт динамично изменяется.

Не соглашусь.

База хим. элементов по идее не должна содержать элементы которрые меняются часто,

ну там 1-2 элемента в год. Какая там динамика.

Ну а в целом неплохо было-бы посчитать нагрузку по числу запросов.

Фактически яндекс позволяет имитировать нагрузку создаваемую некоторым числом посетителей, и отбенчить сайт на предемет той нагрузки которую он выдержит.

Если число посетителей планируется в будущем не больше создаваемой нагрузки в пиковые моменты, то можно пытаться затюнить сайт, если явно больше, то

вперёд к статике.

Замечу, что статика может быть с SSI, или генеримая из какой-то базы в случае изменения в оной. Тоесть никто не предлагает отказаться от базы вообще.

Прелдагается отказаться от неё в при выдаче контента посетителю.

Пока мы живы, смерти нет. Когда придёт она, не будет нас.
T.R.O.N
На сайте с 18.05.2004
Offline
314
#22

Если Вы всетаки решите, что основная причина в mysql - откажитесь от него. если объем информации не превышает 30-50М, в вашей ситации похоже так и есть, всю инфу прощк хранить в txt файлах или в варантах DBM (Perl) - работает быстро и не жрет рессурса.

Желание исопользовать связку php+mysql уже погубило многих. Связка такая, конечно, имеет иногда оправдание, но это не единсвенное решение, особенно когда используются CMS где апсолютно все в базах.

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
C
На сайте с 15.01.2007
Offline
100
#23

Если страницы мало обновляются (то бишь очень мало запросов UPDATE/INSERT, преобладают запросы SELECT), то конечно лучше один раз сгенерить все страницы с хтмл и сложить их в отдельную директорию, и вот оттуда уже скриптом (парсящим УРЛ запроса) выдавать посетителю сайта. Работать всё будет - быстрее некуда.

S0
На сайте с 23.11.2006
Offline
55
#24
root:
вообще хостинг, может, голову морочит еще...

вообще ИМХО хостинг самое главное, помню сидели мы на одном "хостинге" так там по приходу янедкса , гугла сразу мускул падал, причем падал напроч.... по 30 мин ремонтировали все.

Предлагаю хостинг icq 468655368. Отзывы (http://www.hostobzor.ru/opinion/op.php?pid=1518) еще Отзывы (/ru/forum/221296)
asn
На сайте с 15.10.2005
Offline
134
asn
#25

У меня на чахлом PIV крутятся сайты с базами по 500000 записей и ничего, яндекс не валит. А есть клиент с сайтом из 100 записей, который грузит двойной ксеон вусмерть одним-двумя запросами, которые генерят страницу по 10 секунд.

Я к тому, что без детального анализа ваших скриптов и базы любой совет будет не более чем предположением.

Но статистически я скажу - скорее всего корявые запросы.

Corvus:
Если страницы мало обновляются (то бишь очень мало запросов UPDATE/INSERT, преобладают запросы SELECT), то конечно лучше один раз сгенерить все страницы с хтмл и сложить их в отдельную директорию, и вот оттуда уже скриптом (парсящим УРЛ запроса) выдавать посетителю сайта. Работать всё будет - быстрее некуда.

вот праздник хостеру будет, когда ТС последует вашему совету и начнет генерить 50000 страниц, и особенно при цчете что его скрипты грузят хостинг :D

T.R.O.N:
Если Вы всетаки решите, что основная причина в mysql - откажитесь от него. если объем информации не превышает 30-50М, в вашей ситации похоже так и есть, всю инфу прощк хранить в txt файлах или в варантах DBM (Perl) - работает быстро и не жрет рессурса.
Желание исопользовать связку php+mysql уже погубило многих. Связка такая, конечно, имеет иногда оправдание, но это не единсвенное решение, особенно когда используются CMS где апсолютно все в базах.

я думаю, что смена "движка" - а переход с MySQl на текст или DBM - не более чем смена движка, вряд-ли что-то ускорит.

Налетай, торопись, покупай живопись! (http://www.colmix.ru)
[Удален]
#26

Обязательно:

1. HTTP заголовки выправить (кеширование, дата документа).

2. Сообщайте боту о перегрузке, до того как перегрузка наступила.

Дописываем в скрипт процедурку, которая после получения NN запросов с XX айпи за MM секунд выдаёт вместо страниц код ошибочки 503, например так:

print "Status: 503 Service Unavailable\nRetry-After: 61\nContent-Type: text/html\n\n";

print "<html><head><title>Не сканировать быстро!</title><meta http-equiv='content-type' content='text/html; charset=windows-1251'></head><body style='COLOR: black; FONT: 8pt/11pt verdana'><h1 style='COLOR: black; FONT: 13pt/15pt verdana'>Не сканируйте этот сайт так быстро.</h1>Вам требуется увеличить время между отправкой запросов к нашему серверу.<br><br><hr color='#C0C0C0' noshade width=400 align=left>Что бы получить запрашиваемую страницу, подождите 1 минуту<br>и нажмите кнопку &quot;обновить&quot;.</body></html>";

Думаю, сканер Яндекс написан людьми которые внимательно читали документацию по протоколу HTTP, и следовательно он обязан учитывать код 503.

Дополнительно.

а) 50к записей/страниц, это не много.

б) Сообщите, за какое время у Вас отрабатывает скрипт при генерации 1 страницы (что бы иметь представление о Вашем "оптимизировано").

di_max
На сайте с 27.12.2006
Offline
262
#27
Corvus:
... и вот оттуда уже скриптом (парсящим УРЛ запроса) выдавать посетителю сайта. Работать всё будет - быстрее некуда.

А еще быстрее будет это делать Apache!☝

// Все наши проблемы от нашего не знания...
di_max
На сайте с 27.12.2006
Offline
262
#28
asn:
вот праздник хостеру будет, когда ТС последует вашему совету и начнет генерить 50000 страниц, и особенно при цчете что его скрипты грузят хостинг :D

Можно один раз сгенерить основную массу, раз не очень и меняется...

А потом - только изменения и дополнения. А меню, если меняется, запихать в INCLUDE.

Хостер будет в щастье!

ЗЫ. Не с ПХП начинался WEB... ;)

C
На сайте с 15.01.2007
Offline
100
#29

Можно один раз сгенерить основную массу, раз не очень и меняется...
А потом - только изменения и дополнения. А меню, если меняется, запихать в INCLUDE.
Хостер будет в щастье!

Спасибо за понимание :) примерно это я и имел в виду.

А сгенерить можно и на локальном компе, а потом залить один раз на сервак.

bondarev.pp.ru
На сайте с 29.09.2005
Offline
202
#30
generalbox:
Приходит робот Яндекса и валит сайт.

Везет же людям 😂

На иные сайты робот месяц не ходит.

bondarevpipes.com (http://ru.bondarevpipes.com/)
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий