Baidu получилось забанить. Была неточность в регулярном выражении, его останавливает следующая запись (в его User-agent в начале, видимо, еще что-то присутствует):
В Mozilla Firefox есть очень замечательный плагин, который позволяет на лету изменять User-agent и заходить на сайты под видом телефона или Googlebot (список агентов большой и может дополняться). Называется User Agent Switcher.
Вчера забанила еще около 5 предположительно поисковиков, нагрузка форума в часы пик уменьшилась в 2 раза.
Боты вычисляются в логах следующим образом:
1. Если бот послушный, будет периодически встречаться запись "GET /robots.txt HTTP/1.0".
2. Среди общего набора URL присутствует большое количество адресов, по которым обычные пользователи не переходят: просмотр профилей пользователей одного за другим, RSS-новости, справка.
3. Очень малая задержка между переходами на протяжении длительного времени.
Пыталась блокировать бота Baidu двумя описанными в Интернете способами, но так ничего из этого не вышло. Сама захожу с его User-agent - меня сайт не впускает, а на форуме в списке ботов Baidu все равно активен. Придется изучать код SMF для того, чтобы выяснить, как форум его идентифицирует: по длинному списку IP-адресов или по какому-нибудь другому специфическому признаку. Этот противный китайский бот может грузить сайт парой сотен своих клонов одновременно.
Сейчас на форуме: 1148 Гостей, 265 Пользователей (340 Пауков) Google (6), Alexa (1), Yahoo! (1), MSN (Media) (1), Baidu (331)
Мои попытки:
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC] RewriteRule .* - [F]
SetEnvIfNoCase User-Agent "^Baiduspider" SearchBots Order Allow,Deny Allow from All Deny from env=SearchBots
На фильтрацию по User-Agent в .htaccess Baidu, например, не отреагировал. Для его блокировки уже нашла немного модифицированное решение. Да и названия не всех ботов получается выяснить. Видно только, из диапазонов каких IP-адресов идет нагрузка, а кто за ними скрывается можно и не узнать.
Mr. Oronoiks: [ATTACH]113010[/ATTACH]
хорошая функция всё таки, анонимно оскорблять участников форума, молодцы! прекрасная фича! буду публиковать скрины время от времени с сообщениями от этих добродушных анонимов 😂 у меня секретов нет...
На ороне со мной так и поступили, когда только начинала с ними работать. Я сообщила администрации, что их пару сотен гигабайт для меня мало, попросила увеличить пространство.
- Мне убрали ограничения по пространству.
- Мне несколько месяцев давали премиумы, чтобы файлы не удалялись.
Для меня до сих пор остается проблемой, когда я за 1-3 дня загружаю на новый ФО тысячи файлов (соответственно они имеют одинаковую дату загрузки). А через 30 дней одновременно все папки становятся наполовину пустыми. И так первые несколько месяцев.
Уважаемый LuckyShare, как вы относитесь к методу перезаливки файлов, когда:
- загружаются полностью все файлы заново (старые файлы еще находятся в папках).
- удаляются старые файлы и на их место помещаются новые.
При этом на 1-3 дня занимаемое пространство может увеличиваться в ~1,5 раза.
P.s.: сейчас только депозит радует со своим 90-дневным сроком хранения и программой лояльности (каждый месяц бесплатный премиум можно активировать).
initicmd: Если загрузишь 2 Тб и в течении недели не купят хоть один примак, то забанят. Раньше было именно так. (пруф - на WJ)
Для раскрутки ссылок в Интернете на новый ФО нужно несколько месяцев, пока по ним начнут стабильно идти покупки премиумов. Нужно время, чтобы Google и поисковые системы типа FilesTube их проиндексировали.
Также не могу найти информацию, как долго хранятся файлы с момента последнего скачивания.
Нашла: 30 дней. Жаль что не видно страницы справка / FAQ.
Baidu получилось забанить. Была неточность в регулярном выражении, его останавливает следующая запись (в его User-agent в начале, видимо, еще что-то присутствует):
или просто (как описал del_im выше):
В Mozilla Firefox есть очень замечательный плагин, который позволяет на лету изменять User-agent и заходить на сайты под видом телефона или Googlebot (список агентов большой и может дополняться). Называется User Agent Switcher.
Вчера забанила еще около 5 предположительно поисковиков, нагрузка форума в часы пик уменьшилась в 2 раза.
Боты вычисляются в логах следующим образом:
1. Если бот послушный, будет периодически встречаться запись "GET /robots.txt HTTP/1.0".
2. Среди общего набора URL присутствует большое количество адресов, по которым обычные пользователи не переходят: просмотр профилей пользователей одного за другим, RSS-новости, справка.
3. Очень малая задержка между переходами на протяжении длительного времени.
Пыталась блокировать бота Baidu двумя описанными в Интернете способами, но так ничего из этого не вышло. Сама захожу с его User-agent - меня сайт не впускает, а на форуме в списке ботов Baidu все равно активен. Придется изучать код SMF для того, чтобы выяснить, как форум его идентифицирует: по длинному списку IP-адресов или по какому-нибудь другому специфическому признаку. Этот противный китайский бот может грузить сайт парой сотен своих клонов одновременно.
Сейчас на форуме:
1148 Гостей, 265 Пользователей (340 Пауков)
Google (6), Alexa (1), Yahoo! (1), MSN (Media) (1), Baidu (331)
Мои попытки:
На фильтрацию по User-Agent в .htaccess Baidu, например, не отреагировал. Для его блокировки уже нашла немного модифицированное решение. Да и названия не всех ботов получается выяснить. Видно только, из диапазонов каких IP-адресов идет нагрузка, а кто за ними скрывается можно и не узнать.
тестовая страничка апачи, хтмл пингуется... выводы делаем самостоятельно =)
Админы "топовых" на данный момент ФО пьют валидол и обливаются холодным потом :)
Спасибо за совет. Пока еще не хватает знаний по iptables, но уже пытаюсь разобраться.
Может тематика форума и является причиной агрессивности ботов? :)
Прямо как пчёлы на мёд слетаются!
У кого скока на ороне бабок осталось?
Не успела вывести около 200. Бывает и больше у людей.
[ATTACH]113010[/ATTACH]
хорошая функция всё таки, анонимно оскорблять участников форума, молодцы! прекрасная фича! буду публиковать скрины время от времени с сообщениями от этих добродушных анонимов 😂 у меня секретов нет...
Ребята, я же пришла к Вам с миром :)
На ороне со мной так и поступили, когда только начинала с ними работать. Я сообщила администрации, что их пару сотен гигабайт для меня мало, попросила увеличить пространство.
- Мне убрали ограничения по пространству.
- Мне несколько месяцев давали премиумы, чтобы файлы не удалялись.
Для меня до сих пор остается проблемой, когда я за 1-3 дня загружаю на новый ФО тысячи файлов (соответственно они имеют одинаковую дату загрузки). А через 30 дней одновременно все папки становятся наполовину пустыми. И так первые несколько месяцев.
Уважаемый LuckyShare, как вы относитесь к методу перезаливки файлов, когда:
- загружаются полностью все файлы заново (старые файлы еще находятся в папках).
- удаляются старые файлы и на их место помещаются новые.
При этом на 1-3 дня занимаемое пространство может увеличиваться в ~1,5 раза.
P.s.: сейчас только депозит радует со своим 90-дневным сроком хранения и программой лояльности (каждый месяц бесплатный премиум можно активировать).
Если загрузишь 2 Тб и в течении недели не купят хоть один примак, то забанят.
Раньше было именно так. (пруф - на WJ)
Для раскрутки ссылок в Интернете на новый ФО нужно несколько месяцев, пока по ним начнут стабильно идти покупки премиумов. Нужно время, чтобы Google и поисковые системы типа FilesTube их проиндексировали.
Также не могу найти информацию, как долго хранятся файлы с момента последнего скачивания.
Нашла: 30 дней. Жаль что не видно страницы справка / FAQ.