Для каждой подсети/ip присваивается какая-то цифра определяющая степень плохости.
Файлы подсетей формируются сторонним софтом или руками и просто инклудятся в конфиг nginx-а
Потом в нужном месте конфига ставлю:
if ($geo = '8'){ bla-bla.... }
if ($geo = '666'){ return 444; } ;)
Маленький хинт: не ставьте limit_req на отдачу статики(.js, .css) и картинок их отдавайте без ограничений, т.к. будут клиниться обычные браузеры. Лучше поставьте более жесткие ограничения на хтмл.
olbaid: Для iFrame приложения под соц. сети требуется раздавать файлы от 0.1мб до 35мб.
В пике до 20-30 пользователей одновременно, в будущем возможно будет даже больше.
Пробовали брать дедики у firstdedic и selectel'a, их 100Мбитные каналы не справляются, не успевают отдать файлы первым юзверам, в очередь становится все больше и больше людей и наступает попа((
Ожидаемый трафик 0,5 - 0,8 Тб\месяц.
что-то у вас не то с настройками отдачи. пусть админы поколдуют.
IMHO, 100мбит достаточно. для надежности можно взять 2-3 дешевых серверов по 100мбит.
hint, смотрите в сторону дифференцированной отдачи:
* мелкие файлы отдавать на максимальной скорости
* большие - шейпить в зависимости от нагрузки канала или просто шейпить.
люди большой файл могут и подождать, а вот мелкие файлы никто ждать не будет.
у вас скорее всего получилось, что крупные файлы забили канал и легло все.
ну или как посоветовали выше, берите CDN, чтобы не возиться с настройками.
Делегируйте кто-нибудь 10к запросов ежедневно :) $$$
кстати, вот и новая тема для заработка...
думаю скоро сервисы будут брать/скупать оплату "делегацией".
Только работать надо не с IP а с user-agent, потому что IP могут сменить, а вот user-agent у сапобота стабильный.
плохой совет. юзер-агент легко подделывается, да и сапа вряд-ли гарантирует неизменность юзер-агента.
сапа, линкфид и другие биржи сами сообщают актуальные ip своих ботов.
достаточно к этим ip добавить маску /24
Для списков белых/серых/черных я использую http://nginx.org/ru/docs/http/ngx_http_geo_module.html
Для каждой подсети/ip присваивается какая-то цифра определяющая степень плохости.
Файлы подсетей формируются сторонним софтом или руками и просто инклудятся в конфиг nginx-а
Потом в нужном месте конфига ставлю:
if ($geo = '8'){ bla-bla.... }
if ($geo = '666'){ return 444; } ;)
Маленький хинт: не ставьте limit_req на отдачу статики(.js, .css) и картинок их отдавайте без ограничений, т.к. будут клиниться обычные браузеры. Лучше поставьте более жесткие ограничения на хтмл.
можно, для солидности, еще шесть позиций добавить: ycлyгaГapaнтa - свободно во всех зонах с тире и без.
ведь иногда нужна и разовая услуга :)
if ($http_user_agent ~ "msnbot") {
return 444;
}
444 - просто сбрасывает соединение без кода ошибки, как бы бот не стал долбиться по кругу.
я бы отдавал 403, 401, ну или в крайнем случае 404
Вообще каждый по разному называет дедики и VDS.
VDS - Внатуре Дедикайт Сервер 😂
Для iFrame приложения под соц. сети требуется раздавать файлы от 0.1мб до 35мб.
В пике до 20-30 пользователей одновременно, в будущем возможно будет даже больше.
Пробовали брать дедики у firstdedic и selectel'a, их 100Мбитные каналы не справляются, не успевают отдать файлы первым юзверам, в очередь становится все больше и больше людей и наступает попа((
Ожидаемый трафик 0,5 - 0,8 Тб\месяц.
что-то у вас не то с настройками отдачи. пусть админы поколдуют.
IMHO, 100мбит достаточно. для надежности можно взять 2-3 дешевых серверов по 100мбит.
hint, смотрите в сторону дифференцированной отдачи:
* мелкие файлы отдавать на максимальной скорости
* большие - шейпить в зависимости от нагрузки канала или просто шейпить.
люди большой файл могут и подождать, а вот мелкие файлы никто ждать не будет.
у вас скорее всего получилось, что крупные файлы забили канал и легло все.
ну или как посоветовали выше, берите CDN, чтобы не возиться с настройками.
База форума IPB 1.3 занимает 1.1 гб + индексы 600 мб.
Часть таблиц MyISAM некоторые (3?) InnoDB.
Отсюда и вопрос, какая из этих конфигураций более предпочтительна для mysql, так сказать на "вырост".
стоит повозиться и оптимизировать сам mysql, а железка подойдет любая.
(3?) InnoDB перевести в MyISAM
вырубить в mysql поддержку InnoDB - будет хорошая экономия памяти
сэкономленную память пустить под кеш запросов mysql - уменьшатся дисковые операции и нагрузка на проц.
и можно дальше спать спокойно на старой машинке с 4-мя гигами :)
только про бекапы не забывайте, на случай креша винтов.
Вообще, многие советуют пользоваться данной тулзой http://www.revisium.com/ai/
Очень многое она, конечно, находит.
бестолковое творение предназначенное для запугивания юзверей.
прогнал пару чистых цмс-ок - получил полный бред.
в цмс-ке было текстовое сообщение 'бла-бла system'
комментарии излишни.
http://www.stopforumspam.com/ipcheck/188.143.232.31
поклацайте ip-шники из той же сети, сразу все станет понятно.
глянул у себя в блеклисте - нашел еще 5 других адресов из той подсети, так что в бан всю сеть.
---------- Добавлено 01.04.2013 в 15:21 ----------
Я имел ввиду, может на этом форуме кто-то есть оттуда непосредственно? :)
спросите у этих граждан, некоторые буквы совпадают, а вдруг угадаете :)