nginx: перезагрузка конфигурации с новым root. Возможно есть более простое решение. Сейчас это очень редкое событие - т.к. канал с большим запасом.---------- Добавлено 11.04.2017 в 17:49 ----------
Компилируемый? Почему свой? Чем отличается от существующих?
Вы не всегда алгоритмом сможете правильно удалить мусор. Легко затронуть полезные ключи.
Вам нужно разделить БД на 2 части - "сезонные" и "не сезонные" ключи.
1. "Не сезонные ключи" просто проверить "[!w1 !wN]"
2. А вот "сезонные" придется проверять так каждый месяц.
После первого пункта - будет отличная база.
А вот после пункта 2, через год, будет реально бесценная база. Без мусора, с сезонностью.
Отличный сервис, но у Вас та же проблема, что и у многих подобных сервисов.
Много мусорных запросов. Базу нужно чистить.
Например:
http://beta.bukvarix.com/?q=gismeteo.ru®ion=msk&v=table
завтра на погода
погода завтра на
на погода на завтра в
погода в на неделю в
и т.д.
Все это мусор. От этих запросов - толку нет, они засоряют базу, вы тратите лишние ресурсы на парсинг, вебмастера - на удаление этого мусора.
А эту кто-то застал?
1. В минуту: 17 тыс посетителей, 80 тыс хитов, 400 тыс записей в логе.
2.1. Perl (без фреймворков) + mySQL - N раз в период перегенерация статики (на основе логов и количества нового контента) + упаковка gzip каждого html. Почти не заметно, что это статика, проект - как любой динамический, но некоторые изменений на сайте - с небольшой задержкой.
2.2. Два сервера (8 ядер, 64 ГБ, ssd). Трафик распределяется RR DNS + сервера в разных ДЦ, проверяют доступность друг-друга и переключат трафик на себя в случае недоступности.
Вообще, мое мнение, большинству сайтов не требуется постоянно генерировать и отдавать страницу скриптом. Можно генерировать статику раз в день/час/минуту для всего или части сайта, всей или части страницы. Даже комментарии к статьям также можно отдавать статикой, просто добавлять новые (до генерации) с помощью js.
---
Проблемы решались по мере роста.
1. mysql - ничего не пишется онлайн, только в текстовые логи, и при перегенерации страниц логи читаются, анализируются и уже тогда пишутся нужные данные в таблицы. Например, если считается посещаемость каждой страницы - глупо при каждом выводе страницы инкрементировать счетчик в базе (на основе логов считаем посещаемость всех страниц за период и изменяем все за раз).
2. трафик - очень быстро и приблизительно анализируются логи (на Go), при превышении лимита трафика - все картинки переключаются на сильно переоптимизированные их версии (отдельный каталог). И уже потом анализируется - временный всплеск или постоянный: нужно ли расширять канал.
3. диск - почти все кешируется в памяти.
4. коннекты - проверятся кол-во и при превышении указанного мною лимита временно включается в sysctl: TCP_TW_RECYCLE и TCP_TW_REUSE. Но, сейчас не особо помогает в моем случае.
Последняя проблема:
conntrack (модуль iptables) не справляется с таким количеством IP: отключить его или NOTRACK
Верно. Плагин: для Хрома, десктоп.
Многие сайты в интернете используют данное.
Вы можете смело использовать для мобильных юзеров с низким разрешением.
CF Должен пропускать ботов ПС.
https://blog.cloudflare.com/introducing-im-under-attack-mode/
Вебальта не из тех времен. Ее, вроде, Юни начал делать в середине 2005.---------- Добавлено 22.03.2017 в 02:17 ----------А еще у рамблера всегда был аналог ya.ru:
https://r0.ru/
С историей сообщений (нельзя предоставить сообщения по двум юзерам, а только все) - оригинальный ответ :)
Сообщения в ВК не удаляются, а помечаются, что удаленные - т.е. просто помечаются "не показывать пользователю".
(посмотрел посты под статьей)
