anakin: Ребят, сегодня сайт упал от нагрузки. Первый раз всречаюсь с такой проблемой (скрин ниже). Сервер сайта перезагрузил, но не помогло. Что это за ошибка и как с ней бороться? (DLE 9.7)
При этом в админку сайта я могу зайти, а на сам сайт нет.
Мне кажется, то, что написано в скриншоте - понятнее уже не бывает: marked as crashed and should be repaired, как ещё можно написать, чтобы вебмастер понял? 😕
Лечится, как правило, несложно:
root@myserver:/bla-bla-bla# mysql -uroot -p my_database_name
Enter password: *******************
mysql> repair table dle_online;
mysql> \q
Bye
root@myserver:/bla-bla-bla#
stroyka21: 3) Ожидаемая посещаемость примерно 100-500 тыс. уников в день.
Завели хостинг на выделенном сервере, обошлось в 10 т.р./год.
Хм. Давайте подсчитаем. Пусть будет 500 тыс уников в сутки. Для справочных сайтов нормальное количество просмотренных страниц на один уник положим равным трем, т.е. 1.5 млн просмотров в сутки. В сутках 86400 сек. Таким образом, среднее количество запрашиваемых страниц = 17.4 стр/сек. В жизни ничего среднего не случается, в сайтовые часы пик нагрузка легко может быть 10-кратной от средней, т.е. 174 страницы в секунду (это мы еще не учитываем статику - всякие цссы, скрипты и красиво оформленные картинки). Предположим, что один апачевский процесс в среднем за секунду справляется с любым запросом. Т.е. в памяти одновременно будут висеть порядка 174 процессов, каждый эдак мегабайт на 50, т.е. апачам потребуется минимум 8 ГБ памяти сервера.
Такс, начинаем судорожно искать прайсы на выделенные серваки с 8 ГБ памяти и по цене 800 руб/месяц. 🍿
'[umka: ;11148685']Вряд ли поисковики утруждают себя при индексации перестановкой аргументов, т.к. во-первых, это технически трудоёмко (например, из 10 аргументов может быть 10! (факториал) различных комбинаций, это больше 3.5 миллионов), а во-вторых, то что в общем понимании является "строкой запроса" и "аргументами", может интерпретироваться вашим сайтом совершенно иначе, и по двум урлам с разной последовательностью аргументов могут выдаваться разные страницы.
Тем не менее Яндекс, к примеру, понимает в роботсе Clean-param, но что-то у меня любопытство взыграло, не поленюсь, задам сегодня вопрос Платону.
Впрочем, если сайт даже умеет определять разрешенные параметры, все равно правильнее урлы с вопросом использовать только для служебных целей и запрещать их индексацию как класс.
'[umka: ;11148170']Чтобы сделать редирект, нужно сначала в скрипте проверить валидность урла, проверить, есть ли все необходимые параметры, нет ли лишних параметров, в том ли порядке они идут и допустимые ли значения содержат.
Насчёт проверки на порядок следования GET-параметров - это уже паранойя, имхо, а так - идеологически полностью согласен. :)
Pavel_: Пример не удачный...
Вы б ещё Яндекс с Гуглом на валидацию поюзали... ))
не я начал разговор, что у друпала есть универсальное решение. Я всего лишь оспорил это утверждение. Был бы разговор про решения яндекса - ссылался бы на урлы яндекса. :)
При этом мне известны самописные сайты, которые проходят любую проверку на отсутствие дубликатов по урлам. Я это к тому, что проблема решаема, но не в режиме ширпотреба.
Металл: Да я знаю как настраивать robotx.txt - проблеммы нет с ним.
Я о другом - чтобы всегда выдавалась 404 ошибка, если по данному URL не существует страницы.
Только самопис, с контролем допустимых GET-параметров по каждому допустимому url. Подобные коробочные решения лично мне неизвестны
It-mcp.ru: Всем добрый день. Подскажите, может кто знает. Интересует готовая cms или что-то вроде каталога, как hostdb.ru или onliner.by. Может кто-то подскажет на каким системах написаны данные сайты
Как понимаю с яндекс.диском и дропбоксом только через webdavfs идет работа, или есть альтернативные способы?
про крайней мере с яндексом, можно работать через просто davfs, без всяких там web
Ребят, сегодня сайт упал от нагрузки. Первый раз всречаюсь с такой проблемой (скрин ниже). Сервер сайта перезагрузил, но не помогло. Что это за ошибка и как с ней бороться? (DLE 9.7)
При этом в админку сайта я могу зайти, а на сам сайт нет.
Мне кажется, то, что написано в скриншоте - понятнее уже не бывает: marked as crashed and should be repaired, как ещё можно написать, чтобы вебмастер понял? 😕
Лечится, как правило, несложно:
3) Ожидаемая посещаемость примерно 100-500 тыс. уников в день.
Завели хостинг на выделенном сервере, обошлось в 10 т.р./год.
Хм. Давайте подсчитаем. Пусть будет 500 тыс уников в сутки. Для справочных сайтов нормальное количество просмотренных страниц на один уник положим равным трем, т.е. 1.5 млн просмотров в сутки. В сутках 86400 сек. Таким образом, среднее количество запрашиваемых страниц = 17.4 стр/сек. В жизни ничего среднего не случается, в сайтовые часы пик нагрузка легко может быть 10-кратной от средней, т.е. 174 страницы в секунду (это мы еще не учитываем статику - всякие цссы, скрипты и красиво оформленные картинки). Предположим, что один апачевский процесс в среднем за секунду справляется с любым запросом. Т.е. в памяти одновременно будут висеть порядка 174 процессов, каждый эдак мегабайт на 50, т.е. апачам потребуется минимум 8 ГБ памяти сервера.
Такс, начинаем судорожно искать прайсы на выделенные серваки с 8 ГБ памяти и по цене 800 руб/месяц. 🍿
;11148685']Вряд ли поисковики утруждают себя при индексации перестановкой аргументов, т.к. во-первых, это технически трудоёмко (например, из 10 аргументов может быть 10! (факториал) различных комбинаций, это больше 3.5 миллионов), а во-вторых, то что в общем понимании является "строкой запроса" и "аргументами", может интерпретироваться вашим сайтом совершенно иначе, и по двум урлам с разной последовательностью аргументов могут выдаваться разные страницы.
Тем не менее Яндекс, к примеру, понимает в роботсе Clean-param, но что-то у меня любопытство взыграло, не поленюсь, задам сегодня вопрос Платону.
Впрочем, если сайт даже умеет определять разрешенные параметры, все равно правильнее урлы с вопросом использовать только для служебных целей и запрещать их индексацию как класс.
;11148170']Чтобы сделать редирект, нужно сначала в скрипте проверить валидность урла, проверить, есть ли все необходимые параметры, нет ли лишних параметров, в том ли порядке они идут и допустимые ли значения содержат.
Насчёт проверки на порядок следования GET-параметров - это уже паранойя, имхо, а так - идеологически полностью согласен. :)
Пример не удачный...
Вы б ещё Яндекс с Гуглом на валидацию поюзали... ))
не я начал разговор, что у друпала есть универсальное решение. Я всего лишь оспорил это утверждение. Был бы разговор про решения яндекса - ссылался бы на урлы яндекса. :)
При этом мне известны самописные сайты, которые проходят любую проверку на отсутствие дубликатов по урлам. Я это к тому, что проблема решаема, но не в режиме ширпотреба.
И что вы считаете мусором?
http://drupal.org/project/globalredirect решает все основные задачи + robots.txt
Лично я считаю, что если
и
отдают одинаковую страницу, то это принято считать мусором, на который роботсов не напасёшься 🙄
А! Понял!
Нужно чтобы кто-то сделал специальный плагин для MODX, верно?
Скажу честно: насчет плагина - не знаю. Но мое имхо - всегда казалось, что такие вещи нужно встраивать в ядро системы, а не в плагины.
Да я знаю как настраивать robotx.txt - проблеммы нет с ним.
Я о другом - чтобы всегда выдавалась 404 ошибка, если по данному URL не существует страницы.
Только самопис, с контролем допустимых GET-параметров по каждому допустимому url. Подобные коробочные решения лично мне неизвестны
Всем добрый день. Подскажите, может кто знает. Интересует готовая cms или что-то вроде каталога, как hostdb.ru или onliner.by. Может кто-то подскажет на каким системах написаны данные сайты
Мне кажется, ответ здесь