XPraptor

XPraptor
Рейтинг
333
Регистрация
15.10.2004
Должность
Web Soft Developer
Интересы
Programming

((GoodWin)), да они всем разослали такое письмо, с утра тож получил.

Хотя никогда не был партнером - реклом только, очень давно, и подиж ты, остался еще в базах. :)

stryker, ну чего ты прибедняешься то? :)

Для такого приза еще и спонсоров ищешь, поройся по карманам, найди заваляшки и проведи конкурс :)

Ну сорри, если это просто пиар такой со спонсорами - тогда спалил так сказать?)

Нет. Вы сами вправе разруливать разный тип трафика на своем сайте. Если вам не нужен моб-траф, то ПС по барабану куда вы его денете.

G00DMAN:
Нет, ну вы сразу же себе противоречите. Мы прогнозируем вероятность, а не да/нет. Никаких полюсов не было, вы их сами придумали

Но вы же не отрицаете, что использовали заранее отобранную выборку "плохих" и "хороших" сайтов для обучения?

Dubovoj, Вы не много не понимаете системы. G00DMAN опирался в своей сети на принцип обучения по, ИМ, отобранным сайтам, которые уже он мог определить к какому типу они принадлежат. А мутация яшиного алгоритма может при следующем витке сделать часть сайтов, которые были у него в одном полюсе - сайтами другого полюса. То, есть, сайты отобранные G00DMAN-ом как вылетающие, станут с новым витком стабильными, а его обучение будет их определять как вылетающие. В этом вся суть мутации и невозможности обучить сеть на эту тему по двум имеющимся заранее выборкам.

XPraptor добавил 30.08.2010 в 03:10

юни, Нет решения готового, я же вам написал. Нужно постоянно следить за этим софтом и править его все время. А по поводу вашего запроса для чего оно вам - так я в личку вам написал решение более простое.

G00DMAN:
Я в этой ветке уже раз пять наверное писал жирным шрифтом, но могу и в шестой написать: НС не определяет АГС.

Вы передергиваете. Изначально вы вели беседу о том, что определяете вероятность выпадания страниц на основе имеющихся у вас сайтов. Одни сайты имели один полюс - ссылки будут выпадать, другие второй полюс - ссылки не будут выпадать. То, что это определение или не определение АГС - это только обобщение, чтобы было понятно всем остальным в чем суть, но факт обучения на двух имеющихся выборках - ключевой момент в ваших высказываниях.

Об этом я вам и говорю. Для определения сайтов на которых будут выпадать страницы, а на которых нет - не подходит сеть с четким входом, потому, что для этой задачи нет четкого входа и поэтому нельзя заранее спрогнозировать факторы (их точное количество) и обучить сеть по ним.

У яши гарантировано генетическая структура и она мутирует с неизвестной нам скоростью и постоянно менять факторы и переобучать прямую сеть - не хватит никаких ресурсов, ни людских ни машинных.

XPraptor добавил 30.08.2010 в 02:51

юни:
А распознаванием капчи не занимались?

Да эта задача вроде давно уже решена (антик.. уже по моему много лет работает исправно). Зачем вам повторять однажды пройденный путь? Это очень дорого, да и процесс трудоемкий. Вам никто не даст готовый алгоритм, который сможет постоянно распознавать новые виды. Этот софт должен постоянно корректироваться и дообучатся.

А на счет заниматься - занимался как то, но обучал только для нужных мне сайтов, а не универсально.

G00DMAN:
Что за бред? Это еще почему? Откуда два полюса?

Из ваших слов - вы даете на результат выборку под АГС и НЕ под АГС.

Вы пытаетесь создать сеть прямого распространения обучив ее обратным методом. А здесь более подойдет генетика но не в чистом виде, а с примесью самоорганизации.

G00DMAN:
Не, ну факторов не 420+, этого явно не хватит... 420 - это основных, и стопиццот производных от них. В каждом дереве - 10 факторов.
В обучающей и тестовой выборке - сайты, а не документы. По данным сайтам есть как длинная история параметров самого сайта, так и история всех купленных на нем когда-либо ссылок. По некоторым параметрам история не очень длинная, но она тоже есть. Слов типа "вектор" я не буду употреблять, чтобы больше народу поняло. Из этой большой истории сайта и ссылок, а также из других свойств сайта формируется набор факторов, который задействован в обучении. На выходе - прогнозный процент выпадания ссылок.

Все сайты в обучающей и тестовой выборке были разбиты на группы по этому проценту выпадания, т.е. от и до. Правильным считался прогноз, при котором прогнозный и реальный проценты попадали в ту же группу. Эффективность измерялась, как процент правильных прогнозов.

Примерно так. :)

Сорри конечно что вмешиваюсь в вашу высоко-интеллектуалку, но ваш метод это школьный уровень в нейротехнологиях. Этот способ обучения и составления факторов попахивает сферичностью лошадиной, ибо - никогда не достичь рабочего состояния сети, обученного таким способом. Это первый постулат нейропрограммера.

Ваша выборка после обучения начнет работать и давать результаты даже на новых представленных массивах сайтов (но только на тех, которые вы опять же сами отберете) а при анализе реальной группы сайтов без выборки - начнутся сбои. Вы начнете дообучать сеть и менять параметры - в итоге, опять получите приемлимый результат на новой выборке, но! - на старой выборке уже будет полный расколбас.

Это именно так и будет.

Ибо! - нельзя обучить сеть в которой имеется большое количество признаков (у которых имеются также собственные признаки) на основе заранее отобранных данных и составления признаков именно на основе этой выборки. Вы должны изначально задать признаки на основе ассесорского мышления, и лишь за тем, на их основе планировать сеть и обучение. Редактировать в такой сети можно только условия входа и условия анализа результата. Но сами признаки и факторы после развертывания сети уже не изменяются. Иначе, нужно заново планировать сеть с новыми параметрами.

P.S>в нейропрограмминге уже более 8-и лет, и ваш метод напоминает мне мои первые 3-5 месяцев в этой теме, когда приходишь в восторг от того, что пару обратных перцептронов могут сами проанализировать десяток параметров и выдать правильный результат (в основном цифровой, по первости неумения работать с более обширными структурами признаков и приводить их в числовой или функциональный вид).

Wolf вам верно всю ветку пытается втемяшить - это ошибка метода, а не реальность определения вероятности. А ошибка заключается именно в том, что вы строите сеть на конкретной выборке сайтов двух полюсов, которые в момент построения сети имеют всего два полюса - да и нет. А полюсов реально не два, а на много больше окажется, когда будет запущена обработка шумной выдачи, потому, как в ней будут куча экземпляров, которые не будут иметь нужных факторов совсем, и куча, которые будут иметь перекрывающиеся факторы относительно текущего плана сети, а также, будет основная масса, которая будет иметь слишком мало нужных факторов текущего плана и постоянно будет зашумлять результирующий вектор.

Вот как то так. Сорри еще раз.

Я чего то не понимаю наверное, после предыдущего лага кто то еще остался у этих горе-хостеров? Да, крылатая фраза: "ежики кололись, но продолжали жрать кактусы..." - именно про наших людей оказывается :)

ISТ:
Фирмы можете посоветовать, специализированные...?

проксик ру вам в помощь. Они на проф уровне этим занимаются.

Всего: 3323