- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
А я думаю, что если ваш сервер не может выдержать напора поискового бота, то не повод ли это обновить его или коннек к инету?
я думаю, что запрещения индексации в robots.txt уже достаточно, чтобы бот забыл дорогу на сайт или раздел сайта ... а уж попытки прочитать под любым соусом, со сменой ай-пи и тд - это как минимум нарушение сетевой этики ...
А я думаю, что если ваш сервер не может выдержать напора поискового бота, то не повод ли это обновить его или коннек к инету?
Глупое замечание, видно к вам не приходили факед-роботы в час пик.
А я думаю, что если ваш сервер не может выдержать напора поискового бота, то не повод ли это обновить его или коннек к инету?
а вот это зря 😡 не зная броду лезть в воду. Этот гадский бот у меня нагибал dual xeon 2.8 с 2 гигами оперативки и scsi винтами. Причем нагибал не канал, а именно апач. AVG было ~ 3-4. Это что нормально? Такую нагрузку от какого-то там бота!
А я думаю, что если ваш сервер не может выдержать напора поискового бота, то не повод ли это обновить его или коннек к инету?
а я думаю, что Вам надо подружиться с головой. Половина форума воет волком, что бот сервак кладет, а Вы, городо растопырив пальцы, раздаете советы вебмастрам, которые в деле вебстроительства уже не одного чау-чау с чесноком, горчицей и солью сожрали, другая же половина, хоть и выдерживает натиск бота-идиота, ждет, когда же наконец-то с него трафик капать начнет...
у меня не самый слабый канал в инет и не самый слабый сервер, но почему-то хотелось бы, чтобы мой сайт боты имели во всех позах именно ночью, а не днем, когда народ по сайту тусуется.
робот Вебальты обращается к сайту максимум два раза в минуту
если ваш сайт падает от этого
то вносите изменения в файл роботс.тхт
про файл роботс.тхт смотрим здесь
http://www.webalta.net/ru/about_webmaster.html
seotonic, какие там 2 раза в минуту!!! Он их сотнями делает! А если на серваке пару тысяч сайтов?
p.s. хотя может у них там чего поменялось - мне по барабану. уже давно через iptables сервак закрыл.
to mustafa
у них там поменялось
и робот обращается к сайту максимум
2 раза в минуту
и директивы в файле роботс.тхт учитываются
На циске поднимается Netflow, отправляется поток на netflow-приемник, например, netams, он аггрегирует трафик, если надо, и складывает его в базу. Из базы уже достаете всю детализированную статистику. Кто, куда, с какого порта, на какой порт, в какое время, сколько байтов и т.д. Плюс ко всему можно зарулить информацию, про события, в том числе и про дропнутые пакеты на syslog через logging facility.
ЗЫ. Думаю, что если хорошенько покопаться в mib'ах SNMP, то будет еще с пяток-другой решений.
Покажите мне хоть 1 идиота, кто логирует www соедениения циской складывая на сервер посредствам потока или еще чем-то, а не самим веб сервером?
А лучше покажите мне идиота, у кого десятки сайтов, циска, жирные каналы и бот как замечено выше обращаясь 2 раза в минуту ему кладет сайт... Ну вы сами-то вдумайтесь логически.
оффтоп: мля, какие все ньюбы умные пошли... порой аж страшно становится. Полфорума "идиоты" и сервера у них корявые, а вот пришли умные люди и все нам по полочкам разложили.