- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
День добрый.
В кратце, суть следующая: есть ресурс (wowlol.ru), который более-менее нормально жил на vps достаточно долгое время (около полугода) пока не начались сначала периодические отключения сайта (502/504) практически на пустом месте. Эта проблема решилась заказом оптимизации сервера и перенастройкой конфига nginx. Затем некоторые время всё было гуд, но в скором начались достаточно приличные тормоза в загрузке страниц и сайта в целом. Затем начался запредельный расход трафика (в районе 70-80 гб в день) и хостер порезал канал до 10мб/с. Прошло некоторые время, канал восстановили и тут начался ddos на три с лишним дня (кто ддосил, а главное зачем непонятно по сей день т.к. конкурентов я не нашел рыская по всему рунету). По окончании ддоса опять был порезан канал до 10мб/с и решено было переехать на выделенный сервер...
Недавно закончился (практически успешно) переезд и сайт стартанул свою жизнь на новом сервере, где страницы грузились практически мгновенно (несмотря на цифры 35/100 по вебо.ин), статистика использования la редко привышала параметры 0.2, 0.1, 0.1. И всё было бы хорошо, пока не обнаружилось что сайт расходует от 100гб исходящего трафика в день, в то время как в месяц есть ограничение в 2ТБ. Пообщавшись со знакомыми было выяснено что сайт с посещаемостью в 40 000 просмотров в день такое кол-во трафика расходовать не должен. Отсюда вопрос - что может так мощно подъедать трафик чтобы не уложиться в рамку 2ТБ месяц ?
сервер - Athlon XP 3000+, 1 GB RAM, на нём стоит дебиан, подключён и немного нстроен апач и nginx.
Пообщавшись со знакомыми было выяснено что сайт с посещаемостью в 40 000 просмотров в день такое кол-во трафика расходовать не должен.
Интересно, как вы считали? 100Gb не так много
с вашей посещаемостью - там странички под 1Mb (со статикой, css, js).
Выставите хоть Expires - кеширование статики на стороне клиента может
уменьшить потребление трафика.
Прежде всего посмотреть логи вебсервера. Обработайте их, например, awstats'ом и увидите какие файлы больше всего таскают, с каких адресов и так далее.
Исходя их этого скорее всего будет очевидно, что делать дальше.
nginx ведет логи
Натравите на них awstats
Русским языком :)
Вариант 1: Возможно изображения с вашего ресурса кто-то напрямую выложил у себя.
Вариант 2: Возможно кто-то собрал архив картинок с вашего ресурса, и через соответствующий софт (addnews) закросспостил 20-30 изображений с вашего ресурса + ссылки на сотни других блогов (чтобы не заливать картинки напрямую в блоги, или не пользоваться сервисами хранения изображений). Как результат - траф.
В логах искать обращения с других сайтов к картинкам.
З.Ы. У mchost VPS на 100мбит канале. Вам бы вполне хватило, чтобы не брать выделенный серв, но цены не из дешевых.
З.Ы.Ы. Если определите проблему и вам не подскажут решение - пишите в личку, возможно дам готовое, просто надо будет поискать.
Скорее всего кто то поставил ссылку на ваши картинки на каком то посещаемом сайте.
Ищите в логах access.log кто обращается к вашим файлам с других сайтов.
можно попробовать настроить, чтобы картинки отдавались только на Ваших страницах, если подгружаются к другому сайту - то обрывать коннект.
в инете читал не так давно, не сложно сделать...
Даа, у вас там наверное какие-то скриншоты.. и вот это дело кто-нибудь постит на форумах и при каждом просмотре темы все эти картиночки с вас грузятся. Я думаю, надо либо "хотлинк защиту" ставить или как там это называется (в цпанели есть точно) .. или скриптом делать обработчик некий для файлов с расширением * с посторонним реферером .. но тут надо быть осторожным, прежде всего проанализировать логи..
Выставите хоть Expires - кеширование статики на стороне клиента может
уменьшить потребление трафика.
Минут 20 назад выставил (как проверить не знаю).
Вариант 1: Возможно изображения с вашего ресурса кто-то напрямую выложил у себя.
Да, это так, таких ресурсов десятки если не сотни. На всех изображениях стоит копирайт, плюс это даёт какое-никакое ссылочное.
nginx ведет логи
Натравите на них awstats
с awstats мы боремся уже некоторые время - он побеждает в силу отсутствия у меня опыта администрирования серверов. сейчас допишу сабж и пойду дальше боросться, возможно победю))
Вариант 2: Возможно кто-то собрал архив картинок с вашего ресурса, и через соответствующий софт (addnews) закросспостил 20-30 изображений с вашего ресурса + ссылки на сотни других блогов (чтобы не заливать картинки напрямую в блоги, или не пользоваться сервисами хранения изображений). Как результат - траф.
Да, такого момента я не отрицаю, вполне возможно. Пытался боросться с этим через .htaccess (защита от хотлинкинга) - по видимому что-то делаю не так т.к. защита явно не работает.
Ищите в логах access.log кто обращается к вашим файлам с других сайтов.
скачивается access.log на 400 с лишним mb, как скачается - сяду смотреть.
можно попробовать настроить, чтобы картинки отдавались только на Ваших страницах, если подгружаются к другому сайту - то обрывать коннект.
в инете читал не так давно, не сложно сделать..
я тоже читал, бьюсь второй день, проигрываю.
Даа, у вас там наверное какие-то скриншоты.. и вот это дело кто-нибудь постит на форумах и при каждом просмотре темы все эти картиночки с вас грузятся
скриншоты тоже есть. на форумах - вполне возможно кто-то постит.
Прежде всего посмотреть логи вебсервера. Обработайте их, например, awstats'ом и увидите какие файлы больше всего таскают, с каких адресов и так далее.
Исходя их этого скорее всего будет очевидно, что делать дальше.
nginx ведет логи
Натравите на них awstats
Поставил, как сумел настроил awstats. посмотрел, больше всего качают .jpg, причём хаст написан - 85.10.199.87 тоесть ip адрес сервера.
ссыль wowlol.ru/webstat/ логин qwe123 пасс qwerty
возможно как-то не правильно настроил отображение что мне вместо ip клиентов показывается ip сервака ?
трафика пришлось докупить 1tb, в следующем месяце скорее всего придётся докупать 2tb, что делать дальше - хз. Может у меня что-то левое подъедает трафик ?
Т.Е это ваш IP? Сколько качают картинки? соответствует вашей статистики расходов? Ужимайте картинки, храните их на сторонних ресурсах...