Den73: лимитировать нужно все и проверять валидность, никто не мешает злоумышленнику устроить ддос на картинку, будет огромный исходящий трафик и это как минимум.
главное - не запутаться в своих лимитах на лимиты :)
предусмотреть все - не возможно, но возможно поиграть в бесконечную игру "абсолютной защиты" в вакуме. шутка
картинка - да, может загрузить канал, но скорее всего проц и память останутся целыми и будет возможность зацепиться на сервер и подкрутить гайки в защите.
для любителей создавать нагрузку, показывая картинку в ифрейме или скрыто, на трафовых ресурсах - хороший ответ нашего сервера: 401. атака или сразу прекращается или трафовый ресурс хорошо потеряет своих посетителей.
Shur1k_ua, направление у вас верное, но реализация имеет много минусов.
угу, основная ошибка - это обработка статики(картинки, js, css и т.д.) и динамики в одной куче.
статику нужно отдавать без лимитов или ставить лимиты в 15-20 запросов в секунду.
динамику (php, html) - лимитировать уже более жестко. 5-7 запросов в секунду. (на 2-3 слишком много ложных срабатываний, тотже самый msnbot автобанится на раз)
иначе в бан пойдут обычные браузеры, которые при загрузке одной страницы открывают 5-10-15 потоков.
про медленных ботов - это уже другая история.
---------- Добавлено 31.12.2013 в 12:20 ----------
Skom: Вот, к примеру, скрипт проверки, который использую я.
хинт: этот функционал встроен в nginx - модуль geo. прописываете нужные сети и nginx сам рулит без дерганья бекенда и пхп. часть ip/сетей можно сразу 444-м сбрасывать.
есть еще перловые хуки, все никак не доберусь до них. все на потом откладываю... :(
WapGraf: 10. теория, идеи, фантазия. Все это хорошо и в теории сервер пригоден для всего. А если к практике? Конкретно для проекта такого то. Будут предложения?
если не ошибаюсь, то яндекс(скорее всего и другие) подобное использует давно и много.
один из вариантов использования:
1, делается много одинаковых виртуалок (я бы сделал их бездисковыми)
2. виртуалки поднимаются по принципу bootp (или похожему, по максимуму - можно извратиться до клонирования hibernate... т.к. "железки" все одинаковые )
3. поднялись - получили нужные конфиги из "центра", смонтировали, что нужно. получили нужный прикладной софт, запустили - работаем.
4. "центр" сказал "даун" - закрываем текучку и идем на ребут. после ребута просыпаемся уже с другими конфигами и другим софтом на борту.
когда-то делал бездисковые рабочие места - красиво поднимаются. щелчок рубильника и через минуту 20 машинок в строю. выклють - рубильник вниз и все.
при таком подходе не нужно ни "восстановление" ни "бекап" - виртуалок. ребут - и снова в строю.
бекап и восстановление ноды? ну можно забекапить(клонировать) базовую файловую систему с установленной виртуализацией(по размеру этот бекап будет 2-5-10гиг, восстановить/клонировать - несколько минут).
конфиги виртуалок лучше не бекапить, а генерить их скриптом.
данные, прикладной софт - внешние NASы со своими бекапами.
как по мне, то эти "монстры" - это процессор+память под вычисление/обработку данных, диск на них ну разве что под локальный кеш/своп.
8. отказоустойчивость, часть 3 или резервирование. Поставить второго такого же монстра и хранить на нем рез. копии и подготовленную к работе машину?
IMHO, 1-2-3 таких "монстров" ставить не имеет смысла, т.к получаем возможную потерю производительности кластера 100% - 50% - 33%. хотя 33% уже терпимо... думаю их ставят десятками.
---------- Добавлено 31.12.2013 в 10:36 ----------
Нынешний лидер на рынке каналов для высокочастотного трейдинга, компания Global Crossing, обеспечивает пинг в 65 мс по трансатлантическому каналу AC-1. В новом Hibernian Express этот показатель уменьшат до 59 мс. По предварительной оценке, клиенты готовы платить за аренду полосы Hibernian Express в 50 раз больше, чем за AC-1.
там же, 59 мс для биржевых ботов:
Арбитражные сделки между NYSE и LSE. Одна биржа в Нью-Йорке, другая — в Лондоне.
странно, что они не уменьшили время для ботов до 30мс. подводный ДЦ в цетре океана, делов-то.. 😂
sear4er: Ждём новые курсы по дорвеям, сплогам, генерации и чёрным методам раскрутки сайтов? ))
В стартпосте призывают думать масштабнее... т.е. как минимум Курс по созданию потока курсов "по дорвеям, сплогам, генерации и чёрным методам раскрутки сайтов".
azsx: я подобную проблему решил своим сервером. Интел атом, 2 винта для раид 1, выделенный ip + любой инет. Ставите это всё у себя дома на холодильнике (у начальника). Данные всегда доступны через интернет, если война вы сможете физически забрать комп, данные под вашим контролем.
+1 :)
раньше так и делал, год назад перешел на "домашний" NAS от WD - My Book Live (недавно появилась следующая модель - WD My Cloud).
цены на них - приятные, места занимает мало, тихий, внутри полноценный Linux - дебиан, т.е. nfs, samba, ssh, sftp, rsync(собрать бекапы с серверов), php5(мелочевка по крону) и т.д. на нем еще фильмо-помойка, торент-качалка, dlna сервер - на телек... мелочь пузатая, а много умеет :)
да.. при покупке WD дает место в своем облаке (не помню, 1 или 2Т - я этим не пользовался) - вот и доступ извне, ну или напрямую через DDNS, если нет статического ip.
если нужен raid-1, то модель: My Book Live Duo
из недостатков: не умеет Wake on Lan :(
ps: ну прям ода о WD получилась... удобная зараза. :)
---------- Добавлено 27.12.2013 в 15:11 ----------
mark2011: 2. Оборудование гораздо надежнее, чем домашний жесткий диск.
а при чем тут надежность домашнего диска или оборудования? ключевое - две локации.
сдох домашний диск - следующим бекапом(из инета) восстановили все данные на другом домашнем диске.
сдох сайт - вернули бекап(за последний или предпоследний день) в инет.
ohp: Если не затруднит, пожалуйста пришлите пример тарифа, где система считает в свою пользу :)
P.S. недавно перешли на биллинг whmcs с другой, менее удобной системы. Вероятно, могут быть подобные сюрпризы.
лимитировать нужно все и проверять валидность, никто не мешает злоумышленнику устроить ддос на картинку, будет огромный исходящий трафик и это как минимум.
главное - не запутаться в своих лимитах на лимиты :)
предусмотреть все - не возможно, но возможно поиграть в бесконечную игру "абсолютной защиты" в вакуме. шутка
картинка - да, может загрузить канал, но скорее всего проц и память останутся целыми и будет возможность зацепиться на сервер и подкрутить гайки в защите.
для любителей создавать нагрузку, показывая картинку в ифрейме или скрыто, на трафовых ресурсах - хороший ответ нашего сервера: 401. атака или сразу прекращается или трафовый ресурс хорошо потеряет своих посетителей.
угу, основная ошибка - это обработка статики(картинки, js, css и т.д.) и динамики в одной куче.
статику нужно отдавать без лимитов или ставить лимиты в 15-20 запросов в секунду.
динамику (php, html) - лимитировать уже более жестко. 5-7 запросов в секунду. (на 2-3 слишком много ложных срабатываний, тотже самый msnbot автобанится на раз)
иначе в бан пойдут обычные браузеры, которые при загрузке одной страницы открывают 5-10-15 потоков.
про медленных ботов - это уже другая история.
---------- Добавлено 31.12.2013 в 12:20 ----------
Вот, к примеру, скрипт проверки, который использую я.
хинт: этот функционал встроен в nginx - модуль geo. прописываете нужные сети и nginx сам рулит без дерганья бекенда и пхп. часть ip/сетей можно сразу 444-м сбрасывать.
есть еще перловые хуки, все никак не доберусь до них. все на потом откладываю... :(
только гугль у всех нужно отключить... "Скорее всего, на картинке алексей зубков"
актер:
10. теория, идеи, фантазия. Все это хорошо и в теории сервер пригоден для всего. А если к практике? Конкретно для проекта такого то. Будут предложения?
если не ошибаюсь, то яндекс(скорее всего и другие) подобное использует давно и много.
один из вариантов использования:
1, делается много одинаковых виртуалок (я бы сделал их бездисковыми)
2. виртуалки поднимаются по принципу bootp (или похожему, по максимуму - можно извратиться до клонирования hibernate... т.к. "железки" все одинаковые )
3. поднялись - получили нужные конфиги из "центра", смонтировали, что нужно. получили нужный прикладной софт, запустили - работаем.
4. "центр" сказал "даун" - закрываем текучку и идем на ребут. после ребута просыпаемся уже с другими конфигами и другим софтом на борту.
когда-то делал бездисковые рабочие места - красиво поднимаются. щелчок рубильника и через минуту 20 машинок в строю. выклють - рубильник вниз и все.
при таком подходе не нужно ни "восстановление" ни "бекап" - виртуалок. ребут - и снова в строю.
бекап и восстановление ноды? ну можно забекапить(клонировать) базовую файловую систему с установленной виртуализацией(по размеру этот бекап будет 2-5-10гиг, восстановить/клонировать - несколько минут).
конфиги виртуалок лучше не бекапить, а генерить их скриптом.
данные, прикладной софт - внешние NASы со своими бекапами.
как по мне, то эти "монстры" - это процессор+память под вычисление/обработку данных, диск на них ну разве что под локальный кеш/своп.
IMHO, 1-2-3 таких "монстров" ставить не имеет смысла, т.к получаем возможную потерю производительности кластера 100% - 50% - 33%. хотя 33% уже терпимо... думаю их ставят десятками.
---------- Добавлено 31.12.2013 в 10:36 ----------
Напомнило: 300 миллионов долларов США, чтобы сэкономить 6 миллисекунд
Нынешний лидер на рынке каналов для высокочастотного трейдинга, компания Global Crossing, обеспечивает пинг в 65 мс по трансатлантическому каналу AC-1. В новом Hibernian Express этот показатель уменьшат до 59 мс. По предварительной оценке, клиенты готовы платить за аренду полосы Hibernian Express в 50 раз больше, чем за AC-1.
там же, 59 мс для биржевых ботов:
Арбитражные сделки между NYSE и LSE. Одна биржа в Нью-Йорке, другая — в Лондоне.
странно, что они не уменьшили время для ботов до 30мс. подводный ДЦ в цетре океана, делов-то.. 😂
Ждём новые курсы по дорвеям, сплогам, генерации и чёрным методам раскрутки сайтов? ))
В стартпосте призывают думать масштабнее... т.е. как минимум Курс по созданию потока курсов "по дорвеям, сплогам, генерации и чёрным методам раскрутки сайтов".
т.е. авто-курсо-генератор.
я подобную проблему решил своим сервером. Интел атом, 2 винта для раид 1, выделенный ip + любой инет. Ставите это всё у себя дома на холодильнике (у начальника).
Данные всегда доступны через интернет, если война вы сможете физически забрать комп, данные под вашим контролем.
+1 :)
раньше так и делал, год назад перешел на "домашний" NAS от WD - My Book Live (недавно появилась следующая модель - WD My Cloud).
цены на них - приятные, места занимает мало, тихий, внутри полноценный Linux - дебиан, т.е. nfs, samba, ssh, sftp, rsync(собрать бекапы с серверов), php5(мелочевка по крону) и т.д. на нем еще фильмо-помойка, торент-качалка, dlna сервер - на телек... мелочь пузатая, а много умеет :)
да.. при покупке WD дает место в своем облаке (не помню, 1 или 2Т - я этим не пользовался) - вот и доступ извне, ну или напрямую через DDNS, если нет статического ip.
если нужен raid-1, то модель: My Book Live Duo
из недостатков: не умеет Wake on Lan :(
ps: ну прям ода о WD получилась... удобная зараза. :)
---------- Добавлено 27.12.2013 в 15:11 ----------
2. Оборудование гораздо надежнее, чем домашний жесткий диск.
а при чем тут надежность домашнего диска или оборудования? ключевое - две локации.
сдох домашний диск - следующим бекапом(из инета) восстановили все данные на другом домашнем диске.
сдох сайт - вернули бекап(за последний или предпоследний день) в инет.
Если не затруднит, пожалуйста пришлите пример тарифа, где система считает в свою пользу :)
P.S. недавно перешли на биллинг whmcs с другой, менее удобной системы. Вероятно, могут быть подобные сюрпризы.
самый первый вдс за 40грн
1 и 3 месяца - ок
6 месяцев - 53.33 в месяц
...
36 мес - 78.89 в месяц
SSD VDS серверы (KVM)
возможно, в темплейты стоит добавить 32-битные OS, т.к. на 512М - 1Г - 2Г рама нет особого смысла ставить 64 битные ос.
с оплатой не совсем понятно, у вас чем больше оплачиваемый период - тем дороже цена в месяц...
FileZila ругается
Filezila может работать и по sftp, т.е. достаточно пробросить только один ssh порт для работы шелом и sftp.
а фтп - похоронить.
стоки
http://lowendstock.com/
http://lowendbox.com/
мониторьте, ловите акции.
тот же самый 123system, чтобы ускорить добивку ноды, выбрасывает остатки на сток по низкой цене.
по вопросу: цена/качество - каждый думает сам... :)