С бейсбольной битой? :D
У меня знакомый заяву писал в 2000 году. Кто-то сидел под его логином/паролем на dial-up'е баксов на 50 в месяц. Нашли именно школьника всего за неделю. Понятное дело найти дело нехитрое. Главное быстро "расколоть" чтобы галочку можно было поставить. Школьников расколоть просто, а из-за того что школьники следов оставляют кучу - галочка всё равно будет, даже если и не расколется(ему же хуже будет).
Честно говоря не понял в чём именно заточка под Россию. И не понял причём тут 21 век. Боюсь ошибиться в сроках(возможно это было в самом начале 21-века), но в том же США такое проворачивают периодически с конца прошлого века. Ну естественно там были небольшие вариации. Насколько я помню там обычно давали за это компьютер(бесплатно или за очень символическую сумму) с подключением к определённому провайдеру. Не везде был контекст в чистом виде, но суть дела это не меняет. И насколько я помню все такие проекты успешно и довольно быстро загнулись... Потому как отдача от контекста показываемого человеку не могущему себе позволить купить подключение к Интернету или компьютер заранее понятна. Не говоря уже о практически мгновенного появления рецепта снятия ненужной рекламы (только не надо мне рассказывать про "гениальные алгоритмы, которые невозможно обойти" - там тоже не дураки сидели, но всё можно сломать). О новых подобных проектах давненько не слышал. Правда особо не слежу уже года три.
Ссылок не приведу, нету сейчас времени. На случай если захотите поискать сами, то о значительной части таких проектов писали в компьютерре где-то в районе 1999-2002 годов. В большинстве случаев в новостях, но пару раз вроде были статьи на эту тему.
Если он сделает 10000 хитов в сутки - действительно плевать. Если он начнёт делать например ~1000 хитов в минуту я думаю мало найдётся больших сайтов которые плюют на такое, особенно в часы пик. Некоторые выставлюют цифру для автобана намного ниже, чтобы эффект от хитрого DDOS был поменьше.
Тупость бота это когда он ведёт себя тупо игнорируя всё и вся потому что читать не умеет, что для него пишут.
Два посетителя одновременно способен и самый худший виртуалхост держать. И даже если мой сервак может без проблем держать 10000 хитов в минуту от каждого из нескольких пользователей, это не значит что я буду разрешать это делать. Зачем мне это? И кто этот пользователь которому такое надо? Поисковый бот? Ограничим через Crawl-delay. Не умеет? В топку его. (c)
Как вам удалось попасть под фильтр с двумя потоками для меня загадка. Анализировать многогиговый лог мне лень. Но факт что удалось.
Вы что-то непоняли - нашему сайту от таких ботов не плохеет, они автоматически банятся.
А можно поинтересоваться сколько ваша система выдержит хитов в минуту? И вот если я с широким каналом решу выкачать большую часть вашей выдачи, я так понял вы не считаете это тупым поступком и санкций не последует? Качать буду всего лишь в два потока. Я не жадный и бота-скачивальщика выложу в открытый доступ. Тогда каждый в меру ширины своего канала сможет выгрузить себе WebAlt'у. Зачем нас ограничивать, у вас же мощный сервер, а не какая-то доска на виртхосте. :D
Просто всё новоё интересно. :) К тому же мало ли как она стартанёт... На всякий случай готовятся. :D
Хотя с таким роботом они много не наиндексируют. Вернее многих крупных проектов они недосчитаются. Потому как их бот уверенно отвоевал себе место в iptables с помощью автоматической системы защиты от умников. Не думаю что серьёзных проектов с такой защитой мало. И понятное дело что такие проекты это не хомяки на народе, так что в качестве их базы с таким ботом позволю усомнится. Ради справедливости замечу что встречал подобных э-э тупых ботов и до webalt'ы, после чего и была поставлена указанная защита. Интересно их робот достаточно прожорлив чтобы заставить сработать RBIPS на каком-нибудь мегапортале. :D
Итого:
1). бот успешно автобанится автономными софтовыми решениями;
2). на многих проектах люди разбирающиеся в теме банят его ручками.
Вопрос: что будет в базе webalt'ы?
Странно, львиную часть каталогов(ну если не львиную, то весьма ощутимую) как раз можно поймать на автомате без ложных срабатываний.
P.S. Вчера выезжая из-под моста видел растяжку-банер - внушаИт. :) Подождём выдачи...
От нечего делать почитал ветку. Ну и могу поделиться некоторыми наблюдениями и предположениями, не претендуя на истину.
Наблюдение 1:
Конец прошлого года. Странный рост бэков на одном сайте (~20K страниц, домен старый,по низкочастотникам сидел плотненько и давно, ТИЦ<100), с которым кроме ручной регистрации в ~20 каталогах специально ничего не делалось(всего около 5 каталогов давали очень крепкую ссылку, не было ни одной морды, были ссылки с форумов ещё, но немного - штук 10-20), среди бэков появились "хитрые доры" так умело косящие под каталоги что хрен отличишь (я думаю это уже давно не секрет - лавину таких ресурсов не заметить сложно). Но всё же нерукотворность этих псевдокаталогов для человека что-то понимающем в SEO была очевидна. Грубо их можно было поделить на две различающихся по алгоритму категории, но от описания технологии воздержусь - ничего хитрого и интересного там нет... Вобщем мне тут могут сразу возразить что это видели и раньше и т.д. Да всё так. Но этот сайт стоял в роли маячка. Насколько надо быть голодным чтобы докатиться до низкочастотников по которым вылезает сайт с "принудительной нераскруткой" (т.е. раскруткой ровно настолько чтобы поисковик проиндексировал)? Ответ прост: дорвейщики рунета нарастили мощности и у них кончились кейворды. :) Уже тогда было понятно, что ответ от поисковиков должен последовать.
Наблюдение 2:
Появление у того же сайта бэков и переходов из новых каталогов, которые для начала видимо решили позаимствовать базу у старших товарищей. В отличие от предыдущих товарищей ссылка вела на морду и заимствовалась вместе с описанием. Из-за ссылок с дорвейных каталогов сайт слегка окреп в плане ТИЦ и PR и видимо стал проходить какой-то рубеж устанавливаемый в софте по заимствованию базы чужого каталога (это необоснованное предположение, но ранее несанкционированное добавление этого сайта в каталоги которым без году неделя не наблюдалось).
Т.е. субъективно я наблюдал некий критический рост э-э сомнительных ресурсов, причём и первых и вторых объединяло наличие PPC на странице. В рамках данного топика нас интересует второй случай - т.е. каталоги клоны с последующим развитием при участии человека. Итак если бы я был Яндексом как бы я с ними боролся бы?
Предположение 1:
Вводим такое понятие как "Правильный каталог" и присваиваем такое звание старым, модерируемым каталогам которым можно верить. Затем баним выявленный каталог(алгоритм выявления каталога расписывать не буду - он очевиден) в одном из случаев:
1). >80% ссылок присутствуют в "Правильных каталогах" и присутствует какая-либо PPC;
2). >95% ссылок присутствуют в "Правильных каталогах", наличие PPC не важно;
3). >10% ссылок ведут на "плохие" сайты.
цифры с потолка
Предположение 2:
(у меня богатая фантазия)
Поисковик заводит сайт похожий на настоящий(или берёт чужой) и заказывает прогон по белым каталогам за 3$ :D с тупым описанием из перечисления из ключевиков. Потом смотрит в какие каталоги удалось прорваться с таким тупым описанием не для людей и банит их нах. :D
Резюме:
Проблема очень субъективно(у меня нету возможности собрать более менее приличную статистику, да и поздно уже) назрела давно. Очевидно, что с ней стали бороться. А кому щас легко? (c) :D
Аминь.
Извиняюсь за придирку, но обычно говорят не с руки, а с кия.
Да вдвоём не интересно - мне и так есть с кем играть, а время выкраивать архисложно. Ну если ты МС или КМС, то я сильно задумаюсь - игра с сильными игроками всегда интересна. :)
У кого есть желание - можете съездить в Чемпион (xttp://www.champion.ru/) или Модус-Вита (xttp://modusvita.ru/) - там проводят турниры среди любителей (КМС и МС не допускаются насколько я помню). Только в этом году уже вроде все турниры закончены или близки к завершению.
А ты кстати где собирался всё организовывать? У знакомых? Так некоторые могут оказаться привередливыми как я, сукно должно быть хорошего качества, лузы не разбиты, столы не "Dynamic", шары Aramith и не старые и т.д. А в Москве не так много мест где всё это вместе. Колодники правда почти везде всё равно будут фибергласовые (или ещё хуже - с лакированным шафтом) - так что те кто будут со своими палками будут иметь преимущество (лично я на фибергласе играть не смогу) - вернее преимущества может и не будет(чемпион США например играет фибергласом), но вопли после турнира точно будут (плавали - знаем). Так что лучше вместе съездейте на какой-нибудь турнир посмотреть на мастеров-любителей, а потом под пивко сыграете. :)
В русский да, можно сказать не умею(так под пиво, когда пул надоедает поигрываю).
Вам это кому? Если вы так пулистов уравняли, то зря. Скажем в девятку отыгрыши тоже обычное дело, только там всегда есть шанс выполнить "impossible shot" - вот это адреналин :) .
Да я просто забочусь о зрителях - ведь со скуки помереть можно наблюдая это. Тут кстати на последнем чемпионате по пирамиде дедушка, который видимо помощник маркера или что-то в этом роде заснул так на стульчике мирно. :) И среди зрителей каждый пятый спал. Динамика, адреналин. :D
