- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Месяца 2 назад стали медленно загружаться сайты на vBulletin и Wordpress, 1 мин. и более.
Хостер jino пишет:
Здравствуйте.
У Вас наблюдается повышенная нагрузка на CPU. В период нагрузки, производится автоматическое ограничение ресурсов, с целью предотвратить дестабилизацию работы сервера. Вам или Вашим специалистам необходимо проанализировать логи и устранить причину.
Логи нагрузки можно просмотреть здесь: https:
Логи обращений здесь: https:
Логи ошибок: https:
Логи медленных запросов к БД: https:
Полные логи находятся в корневой директории в папке logs.
Кому принадлежит IP можно узнать здесь: https://who.is/
Для внесения IP в список заблокированных необходимо в файл .htaccess (находится в корневой папке домена, если нет, то создать) добавить следующую строку:
deny from 127.0.0.1
127.0.0.1 замените на необходимый. Также можно указывать IP не полностью, тогда будет блокироваться подсеть. Например просто 127.0.0
Кратковременное повышение нагрузки может быть связано с обходом поискового бота.
Вопросы:
1. Не совсем понимаю, на предмет чего проводить анализ. Подскажите, пожалуйста, в логе хотя бы 1 фрагмент, который указывает на злонамеренность посетителя, чтобы его заблокировать и найти остальных.
2. Может есть понятные ip которые надо блокировать, я бы их сразу вставил .htaccess.
3. Хостер вообще прав, нагрузка есть?
Статистику и логи залил сюда https://yadi.sk/d/CvY7qUyeefrTF
Хостер jino пишет:
Дальше читать не стал - меняй хостера... не первая подобная тема про них.
1. на предмет аномальных запросов к сайтам - например несколько тысяч в течении минуты, или обращение к определенному файлу и т.д. - вариантов много
2. нет
3. при беглом анализе - хостер прав
P.S. если не знаете что искать в логах - вам к специалистам...
Дальше читать не стал - меняй хостера... не первая подобная тема про них.
Правда другой хостер не будет с тобой цацкаться, сайт будет просто выдавать ошибку и все. Занимайся нагрузкой. Не можешь сам - найми людей.
AAAAllleex иногда помогает блокировка всех робото-краулеров-пауков кроме гугла и яндекса. Чисто лично - пришлось блокнуть бинг, ибо зверствовал неимоверно... еще какой-то Zeus нагружал...
то что замедляют а не выдают ошибку или просто блокируют акаунт это очень очень хорошо, таких добрых еще поискать надо...
Топ 100 обращающихся. Ничего криминального.
За что меня так любит яндекс.
178.154.150.209 33654 YANDEX
37.140.141.37 4560 YANDEX
81.177.140.52 3399 AVGURO-NET
5.45.254.227 1421 YANDEX
37.140.141.36 773 YANDEX
176.102.37.87 578 UKRAINE
38.111.147.84 455 Oakland
5.45.254.225 292 YANDEX
157.55.39.98 264 Microsoft Corporation
37.140.141.38 244 YANDEX
157.55.39.70 223 Microsoft Corporation
157.55.39.137 196 Microsoft Corporation
207.46.13.120 178 Microsoft Corporation
5.45.254.226 113 YANDEX
217.69.133.216 102 MAIL-RU
217.69.133.84 92
95.108.129.207 90
217.69.133.218 87
213.180.206.197 85
37.9.118.17 85
217.69.133.217 84
217.69.133.85 84
217.69.133.215 83
66.249.64.21 81
66.249.78.245 73
217.69.133.219 72
217.69.133.67 72
66.249.64.29 71
66.249.78.252 70
66.249.64.25 69
188.165.15.191 65
157.55.39.69 65
157.55.39.136 65
66.249.78.238 63
46.161.41.199 58
188.165.15.78 57
188.165.15.94 57
188.165.15.98 56
188.165.15.121 55
188.165.15.188 54
188.165.15.50 52
188.165.15.10 49
188.165.15.105 45
54.235.100.22 45
188.165.15.234 43
54.235.94.95 43
188.165.15.208 42
178.32.149.16 40
66.249.69.77 39
66.249.69.93 32
54.235.98.169 30
213.180.206.205 29
37.140.141.40 27
66.249.64.22 27
66.249.64.30 27
193.189.117.243 26
123.126.113.104 25
199.16.156.124 25
46.39.235.82 25
157.55.39.122 24
95.167.189.100 23
199.16.156.125 23
178.154.224.114 22
95.167.189.77 22
64.187.238.122 22
66.249.69.61 21
86.184.212.38 21
199.16.156.126 21
176.103.152.28 20
66.249.79.62 19
37.115.202.31 18
54.235.99.68 18
148.251.138.201 17
95.108.128.241 17
66.249.64.26 17
23.21.82.184 16
95.167.189.66 16
100.43.90.12 16
54.235.97.10 15
5.255.253.4 14
66.249.79.70 14
74.125.176.149 13
91.121.163.214 12
66.249.79.78 12
74.125.176.147 11
80.252.18.27 11
146.0.77.95 10
178.154.243.110 10
185.3.149.130 10
178.154.243.108 10
141.105.66.179 9
37.57.231.240 9
82.145.221.216 9
217.118.79.27 9
74.125.176.150 8
199.59.148.209 8
146.0.79.23 8
146.0.74.206 8
2.93.204.176 8
В файле ip_nagruzka140215.txt приведены ip на максимальных нагрузках 14.02.15 (пики_нагрузок140215.doc).
Нагрузку создают поисковые роботы. Или я не прав?
Меняйте хостера
- включите кэширование
- заблокируйте в htaccess 81.177.140.52 3399 AVGURO-NET, он вам 10% создаёт. Посмотрите что за "176.102.37.87 578 UKRAINE", скорее всего тоже можно в бан. Возможно, ваш сайт парсят левые боты.
- включите кэширование
- заблокируйте в htaccess 81.177.140.52 3399 AVGURO-NET, он вам 10% создаёт.
AVGURO-NET думаю, это и есть jino (хостер) у них так юр. лицо называется.
Посмотрите что за "176.102.37.87 578 UKRAINE", скорее всего тоже можно в бан. Возможно, ваш сайт парсят левые боты.
Зарегистрирован на физика в Киеве. Можа какой тамошний поисковый бот. Только его если блокирнуть.
---------- Добавлено 14.02.2015 в 21:05 ----------
Хостер в очередной раз отписался:
Ким Эдуард 14.02.2015 17:45
Здравствуйте.
На аккаунте регистрируется нагрузка на процессор сервера:
https://cp-hosting.jino.ru/statistics/resources/chart/cpu/week/2015-02-14/
При общей нагрузке на аккаунт могут наблюдаться проблемы с доступом ко всем сайтам, расположенных на нём.
Öèòàòà:
На сколько ограничение? Это предусмотрено договором?
Можно ли получать уведомления об ограничении и снятии ограничений?
Ограничения по нагрузке указаны в публичной оферте:
http://www.jino.ru/buy/offer.html
Для стандартного аккаунта уделяется 10% от общей процессорной мощности. Ограничения постоянны и не снимаются, в целях стабилизации работы сервера.
На сайте pravogroup.ru регистрируется большое количество запросов из сети Яндекса:
https://cp-hosting.jino.ru/statistics/logs/access/pravogroup.ru/
Данные запросы создают нагрузку. Мы добавили в файл robots.txt директиву "Crawl-delay: 60" для снижение частоты запросов.
Öèòàòà:
Укажите, пожалуйста, в логе хотя бы 1 фрагмент, который указывает на злонамеренность посетителя, чтобы мы его могли блокировать.
На сайте arbitraz.ru было замечено большое количество запросов из зарубежных подсетей:
https://cp-hosting.jino.ru/statistics/logs/access/arbitraz.ru/
Öèòàòà:
144.76.29.162 - - [14/Feb/2015:11:47:57 +0300] "GET /novosti/347.htm?mode=threaded HTTP/1.0" 301 -
208.115.113.88 - - [14/Feb/2015:11:48:00 +0300] "GET /calendar.php?do=add&c=1&day=2013-3-29 HTTP/1.0" 200 30158
148.251.124.174 - - [14/Feb/2015:11:48:07 +0300] "GET /post_thanks.php?do=findthanks_user_gave&u=643 HTTP/1.0" 200 26343
144.76.29.162 - - [14/Feb/2015:11:48:33 +0300] "GET /novosti/347.htm HTTP/1.0" 404 19444
208.115.113.88 - - [14/Feb/2015:11:48:59 +0300] "GET /calendar.php?do=add&c=1&day=2013-12-23 HTTP/1.0" 200 30162
148.251.124.174 - - [14/Feb/2015:11:49:04 +0300] "GET /post_thanks.php?do=findthanks_user_gave&u=658 HTTP/1.0" 200 26339
144.76.29.162 - - [14/Feb/2015:11:49:32 +0300] "GET /novosti/348.htm?mode=hybrid HTTP/1.0" 301 -
148.251.124.174 - - [14/Feb/2015:11:50:53 +0300] "GET /post_thanks.php?do=findthanks_user_gave&u=6671 HTTP/1.0" 200 26343
144.76.29.162 - - [14/Feb/2015:11:52:09 +0300] "GET /novosti/348.htm HTTP/1.0" 404 19450
Мы произвели блокировку адресов, с которых поступали однотипные запросы, которые могли создавать нагрузку.
Цитировать
Статус заявки изменён на «Требуется ваш ответ» (14.02.2015 17:45, Ким Эдуард)
Удивительно. Спасибо jino. К сожалению скорость пока не нормализовалась.
AVGURO-NET думаю, это и есть jino (хостер) у них так юр. лицо называется.
Тем более надо блокировать. Они своими роботами вам 10% лишней нагрузки и создали.
Нефиг хостеру делать на вашем сайте, надо посмотреть - браузером зайдут.
PS: Задайте им вопрос что делает их IP на вашем сайте
1. Очередное письмо от хостера.
Я: Скорость загрузки к сожалению, не восстановилась.
jino: На сайт продолжают поступать запросы из системы Яндекс:
https:
Нагрузка не снижается из-за индексации:
https:
Статус заявки изменён на "Требуется ваш ответ".
2. Прочел про кеши, они создают дополнительные страницы, что может повлиять на индексацию и время пребывания бота. Страниц около 5000.
Здесь надо продуманное решение чтобы не навредить, в т.ч. SEO оптимизации.
Буду рад мыслям по данному поводу.
3. А что дальше будет, если ТИЦ вырастет до 100, а страниц будет 100 000 и яше их захочется посмотреть?
Я думал, что хостер, раз выделил квоту на жестком диске, сможет её обработать.
4. ИМХО хостер прав, надо увеличивать интервал пребывания бота. Надеюсь яша сейчас это поймет и всё устаканится.