Помогите советом пожалуйста - доля роботов на сайте

N0
На сайте с 18.02.2013
Offline
70
4806

Помогите советом пожалуйста: за последние пару месяцев очень сильно выросла доля роботов на сайте - с 2% до 15 (в выходные особенно), причем еще и трафик упал (наблюдаю зависимость - много роботов, падает траф). И доля роботов растет с каждым днем!!! Плюс к этому постоянно атакуют спам боты форму "заказать звонок"

1. Вообще такие характеристики насколько влияют на отношение к сайту поисковиков?(может ли траф порезать и из-за этого?). Стоит с роботами бороться, закрывать им доступ?

2. Что можно сделать самой (где что закрыть, может модули какие, код и тд) или хоть к кому обратиться? (я не программист конечно, но в принципе в несложных вещах вполне разберусь)

Спасибо за ответы, (сайт реальной фирмы, вложено много сил и времени в него)!!! Сайт на джумле

K5
На сайте с 21.07.2010
Offline
209
#1
выросла доля роботов

гугла с яндексом? или всех подряд? подробнее какие роботы ходят...

1. трафик упадет если сайт еле грузится

2. роботы куда ходят - по сайту или все кучкой в админку?

аська 45два48499два записки на работе (http://memoryhigh.ru) помогу с сайтом, удалю вирусы, настрою впс -> отзывы ТУТ (/ru/forum/836248) и ТАМ (http://www.maultalk.com/topic140187.html) !!!всегда проверяйте данные людей, которые сами пишут вам в аську или скайп!!!
N0
На сайте с 18.02.2013
Offline
70
#2

За последний месяц:

1. Люди 16 753 94,3%

2. Роботы 1 005 5,7%

Робот

Хиты

1. Отфильтрованы по IP-адресам 772 76,8% Вот как бы их хоть найти что ли и запретить доступ. Стоит мучить хостера или они не при чем?

2. Отфильтрованы по статистическим правилам 161 16,0%

3. Yandex bots 57 5,7%

4. facebookexternalhit 9 0,9%

5. MSNBot 4 0,4%

6. Google Web Preview 1 0,1%

7. Site-Shot 1 0,1%

Отдельные дни до 15% боты, раньше ботов было 0,5-2% максимум

В админку ломятся особо, да!!!, по сайту тоже скорее всего (как посмотреть, по логам в хостинге?) хостинг джино. Просто когда в админку ломятся, я вижу по ip и ошибкам (доступ то только у меня), а когда на сайт - мне сложно определить бот или человек...

Гугл с яндексом как раз меньше всего беспокоят

P/S спам формы заказать звонок блокирую по ip в htaccess - понятно что это не выход, но хоть так...

K5
На сайте с 21.07.2010
Offline
209
#3

статистика из панели хостинга взята?

на админку дополнительную авторизацию поставьте и проблем не будет

на форму лучше каптчу прикрутить

N0
На сайте с 18.02.2013
Offline
70
#4

kgtu5, статистика из метрики, в панели хостинга такого нет.

доп авторизацию поставить - это модуль какой-то? (сейчас тупо закрыла к админке доступ кроме моего ip, форма регистрации для других все равно выкл)

на форму капчу пыталась поставить - найти норм легкий код для вставки в уже готовую форму оказалось сложно, это надо искать на фрилансе видимо. но да, похоже поставлю

Тут скорее вопрос про то, что все равно боты то идут и на сайт, нагрузку создают наверное, ну и их сильный рост пугает...Это проблемы моего сайта или хостинга или чего все таки? Было несколько лет все ок, а теперь резкий рост. с чего вдруг..

K5
На сайте с 21.07.2010
Offline
209
#5

никто не знает "с чего вдруг".

нагрузку создают, но от этого особо никуда не денешься.

проблемы моего сайта или хостинга или чего

боты ломятся ко всем - частично блокировать, частично не обращать внимания.

сейчас тупо закрыла к админке доступ

уверены что закрыли? пробуйте зайти в админку через анонимайзер, либо с другого "интернета".

анализируйте access и error логи сайта - большая часть проблем видна там.

N0
На сайте с 18.02.2013
Offline
70
#6

А в ошибках в логах если в админку пытаются зайти (поскольку закрыла доступ, то у них ошибка вылезает), я так понимаю это уже признак спама? то есть это "черные" ip?

Написала хостеру - он предлагает пользовать платными услугами (около 6000 в мес -оч дорого...). Есть ли смысл устанавливать защиту от ддосов или то что у меня-мелочи?

Спасибо за ответы

K5
На сайте с 21.07.2010
Offline
209
#7
или то что у меня-мелочи

у вас - капля в море.

признак спама

если в логах видно, что при обращении к админке ботам отдается 403 ошибка, то все нормально - нагрузки это не создает, ищите другие причины и пути (например та же форма звонка)

"черные" ip

таких почти не существует, в большинстве случаев для атак используются обычные взломанные сайты других людей

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий