- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Анализ будет оооочень ресурсоемкий зачем им грузить себя лишней работой?
Не вижу проблемы, на самом деле. Никаких серьёзных вычислений не требуется. Кроме того, rt-обработка тоже не обязательно. Достаточно скриптом раз в несколько часов проходить. Коль скоро данные по каждому IP учитываются, систематизировать их для получения общей картины сам Бог велел. :) Статистические алгоритмы - вещь не такая ресурсоёмкая, как многим представляется.
собирать стату по миллиону адрессов, с целью найти потом с них распределенный парсинг
Пики и всплески на графики видны невооружённым глазом. Это если лень математические критерии выводить. Другой вопрос - что есть распределённый парсинг? Пара сотен тысяч айпи в смежных сетках или по дюжине адресов из двух тысяч несмежных подсетей - две большие разницы.
Ну и как бы вы на месте яндекса защитились от такого парсинга как я предложил? :) блокировать все сети? :) навсегда или на время?
тут стоит такой вопрос что в любом случае яндексу не понравится такой возросший расход трафика и нагрузки, врубят капчу для всех и всех делов :) так что надо иметь на запаску капчодешифровалку...
Ну и как бы вы на месте яндекса защитились от такого парсинга как я предложил?
Яндекс на своём месте приблизительно так и поступает, ему мои советы не нужны. ;) Поэтому не буду искушать демона без нужды. :)
А куки к ИП привязывали?
Да наверняка. К рефереру, юзерагенту (вообще весь хидер уже перебрали), к параметрам командной строки и картинкам/скриптам. Ну, народ читает, если что-то упустили, то сейчас попробуют.
блокировать все сети?
Проблема будет только с крупными блоками известных провайдеров, там действительно трудно распознать бота и заблокировать нужный диапазон. И кстати, такой метод попроще, чем накладывать прозрачные картинки (да и - куда? на поле ввода запроса?).
Всё написано правильно и разумно с точки зрения пользователя. Но если мыслить обобщёнными категориями, то надо признать, что ПС может анализировать не только количество (и естественность) запросов с каждого отдельного айпи, но и агрегировать сии данные. ;)
Именно.
Потому как поймать капчу проверяя YAP или YAL - очень просто.
Долбя Яндекс запросами "смешные ежики" + случайное слово - у меня не получилось за пару сотен запросов.
Так что он еще и к типу запросов цепляется.
sokol_jack, вы хотите получить 8 баллов за подпись?
wizzer, в идеале нужена метода, позволяющая избежать появления капчи вообще.
карча появляется если количество с одной сетки ( в 62 или 128 ИП) превышает .
Например у меня есть 128 ИП.
Я делаю запрос в потоках.
сначала 128 потоков - капчи нет
теперь внимание.
эти же Ип
70-80 потоков - все капча на всех
причем и на остальных 30. т.е. капча на всей сетки
AlienZzzz, а интервал между запросами какой, для каждого ip? У нас не меньше суток, и всё равно доступ отрубает.
AlienZzzz, а интервал между запросами какой, для каждого ip? У нас не меньше суток, и всё равно доступ отрубает.
А вы пробовали разнообразить запросы. Скажем словили каптчу на вордстате, перешли на поиск - ввели что-нибудь - полистали выдачу, открыли пару-тройку сайтов, пауза минут тридцать - снова вернуться к вордстату.
Str256, вопросами антиддоса, капчи и прочими схожими, в вордстате и в обычном поиске занимаются разные команды.
Мне неизвестно о взаимосвязанной и сообща используемой статистике, между этими двумя сервисами, ни на практике, ни "в теории" (хотя не исключаю, что такая связь есть).