Как успокоить сайт?

12 3
ВC
На сайте с 02.02.2006
Offline
459
4525

Есть у меня каталог сайтов. Самый обычный, в Яндексе далеко от вершины, однако в день добавляется несколько ссылок (бывает и 15 штук, если спамер подвернется).

Так вот: хостер пишет, что я перегружаю процессор! Посмотрел - и правда, в какой-то момент времени более 7%! Но что удивительно - в тот час, когда есть перегрузка, ни каких ссылок не регистрировалось вообще! Ясно, что и поисковики ходят, но ведь не так же много! Рядом другой мой сайт, гораздо более посещаемый, а загрузка где-то в десятых долях процента!

В общем, срочно надо сделать так, чтобы нагрузка на сайт сократилась. Готов даже как-нибудь добровольно заблокировать его работу, лишь бы сохранить уже существующие ссылки.

посоветуйте мне что-нибудь!

СКОРПИОН
На сайте с 05.01.2006
Offline
120
#1

Владимир-C, скрипт сайта исправлять надо. Что-то в нём не так, если идёт такая нагрузка. Обратитесь к разработчику...

• Контекстные ссылки с внутренних страниц навсегда (/ru/forum/370882) • Качественные сайты для заработка на контекстной рекламе и ссылках
bonzaza
На сайте с 10.06.2006
Offline
82
#2

1. запросить у хостера более подробную статистику (если у них есть такая возможность), чтобы определить кто сколька ест памяти (ошибка в скрипте) и кто завешивает ресурсы процессора (ошибка при обращении к БД);

2. посмотреть лог файл (то есть кто посещает ресурс в этот момент - может ето чей-то паук или прочее);

3. если софт самописный (да и если не самописный) - то загнать на домашнюю тачку и как следует оттестировать на наличие ошибок

4. почитать про нагрузку на linux.opennet.ru в разделе apache

вариантов 2:

- или кто-то действительно завешивает слишком большим количеством запросов в секунду - например левый паук

- либо софт кривой (ошибки при обращении к БД, незакрытие дескрипторов, нет очистки переменных)

больше вариантов не вижу☝

Если не мы, то кто?
ВC
На сайте с 02.02.2006
Offline
459
#3

С разработчиков переговорил. Да, скрипт поврежден автоматизированными рассылками. Разработчик исправил без возражений.

База в скрипте не используется.

Хостер дал лог файл - чего там искать? Я в нем что-то вообще ничего не пойму - какая-то длиннющая таблица...

Можно ли просто заблокировать сайт от всех, кроме тех, кто хочет проверить обратную ссылку?

[Удален]
#4
bonzaza:
ошибки при обращении к БД, незакрытие дескрипторов, нет очистки переменных

Если ошибки при обращении к БД, то вообще работать не будет. Дескрипторы сами закрываются, память тоже худо-бедно чистится. Скорее всего банально кривые ручки составителя БД и запросов. Нет индексов в таблицах, запросы в скрипте через одно место составлены - в 90% именно это причина тормозов.

Владимир-C:
скрипт поврежден автоматизированными рассылками

Смеялся :) Возьмите вилку - лапшу снимать.

ВC
На сайте с 02.02.2006
Offline
459
#5
javadf:
Возьмите вилку - лапшу снимать.

Это Вы совершенно напрасно... Такая проблема существует, и не только у меня.

У меня есть еще маленький каталог на этом же скрипте, так он давно забит так, что административная часть каталога не работает.

[Удален]
#6

Владимир-C, так это не скрипт поврежден, а руки и голова того, кто скрипт писал повреждены :)

Просто страшно представить как это можно так написать скрипт, чтоб он от внешних данных "повреждался". :D

Скорее всего отсутствие элементарных знаний о СУБД привело к тому, что SQL-запосы начинат жутко тормозить при распухании таблиц.

ВC
На сайте с 02.02.2006
Offline
459
#7

Может быть и так. Сам я скрипты писать не умею, так что не мне судить. Но скрипт linkexchanger используется тысячами (списки содержат несколько тысяч пользователей) пользователей. При этом, как я уже говорил, база данных не используется.

Собственно, я чего хочу? Просто заблокировать сайт от всех, кроме тех, кто хочет проверить обратную ссылку. Возможно это?

bonzaza
На сайте с 10.06.2006
Offline
82
#8

боюсь, что это практически невозможно в Вашем случае и очень сложно для любого разработчика :(

алгоритм проверки должен быть следующий - выбираем из базы (иного источника) адреса зарегитсрированных сайтов, вытаскиваем их IP после чего либо разрешаем проверку либо отключаем указанные IP (вообщем если это реализовывать то это проще написать небажный скрипт каталога)

и то не факт, что это сработает (если кто-то решит подменять IP и прочее)

иных способов я к сожалению не вижу 😕

извините

или попытаться напрячь разработчика на устранение уязвимости, что как показывает практика - весьма тяжело ☝

ВC
На сайте с 02.02.2006
Offline
459
#9

Как оказалось, нагрузку на процессор создает... Яндекс! Ведь это он: "Yandex/1.01.001 (compatible; Win16; I)" ?

А в другое время - Гугль! +http://www.google.com/bot.html)"

Нет ли способов "разрядить" обстановку? То есть не запрещать индексацию полностью, но ограничить время посещения или интенсивность поисковой работы?

Ведь не должен же Яндекс создавать такую ситуацию!

K
На сайте с 31.01.2001
Offline
737
#10

Не надо заниматься ерундой, почините сайт, чтобы он работал четко, быстро и не грузил сервер. Сайт должен выдерживать любые набеги роботов. Если он не выдерживает добавление аж 15 ссылок в день, наверное надо поискать причину в самом сайте.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий