G00DMAN: Не, ну факторов не 420+, этого явно не хватит... 420 - это основных, и стопиццот производных от них. В каждом дереве - 10 факторов.
В обучающей и тестовой выборке - сайты, а не документы. По данным сайтам есть как длинная история параметров самого сайта, так и история всех купленных на нем когда-либо ссылок. По некоторым параметрам история не очень длинная, но она тоже есть. Слов типа "вектор" я не буду употреблять, чтобы больше народу поняло. Из этой большой истории сайта и ссылок, а также из других свойств сайта формируется набор факторов, который задействован в обучении. На выходе - прогнозный процент выпадания ссылок.
Все сайты в обучающей и тестовой выборке были разбиты на группы по этому проценту выпадания, т.е. от и до. Правильным считался прогноз, при котором прогнозный и реальный проценты попадали в ту же группу. Эффективность измерялась, как процент правильных прогнозов.
Примерно так. :)
Сорри конечно что вмешиваюсь в вашу высоко-интеллектуалку, но ваш метод это школьный уровень в нейротехнологиях. Этот способ обучения и составления факторов попахивает сферичностью лошадиной, ибо - никогда не достичь рабочего состояния сети, обученного таким способом. Это первый постулат нейропрограммера.
Ваша выборка после обучения начнет работать и давать результаты даже на новых представленных массивах сайтов (но только на тех, которые вы опять же сами отберете) а при анализе реальной группы сайтов без выборки - начнутся сбои. Вы начнете дообучать сеть и менять параметры - в итоге, опять получите приемлимый результат на новой выборке, но! - на старой выборке уже будет полный расколбас.
Это именно так и будет.
Ибо! - нельзя обучить сеть в которой имеется большое количество признаков (у которых имеются также собственные признаки) на основе заранее отобранных данных и составления признаков именно на основе этой выборки. Вы должны изначально задать признаки на основе ассесорского мышления, и лишь за тем, на их основе планировать сеть и обучение. Редактировать в такой сети можно только условия входа и условия анализа результата. Но сами признаки и факторы после развертывания сети уже не изменяются. Иначе, нужно заново планировать сеть с новыми параметрами.
P.S>в нейропрограмминге уже более 8-и лет, и ваш метод напоминает мне мои первые 3-5 месяцев в этой теме, когда приходишь в восторг от того, что пару обратных перцептронов могут сами проанализировать десяток параметров и выдать правильный результат (в основном цифровой, по первости неумения работать с более обширными структурами признаков и приводить их в числовой или функциональный вид).
Wolf вам верно всю ветку пытается втемяшить - это ошибка метода, а не реальность определения вероятности. А ошибка заключается именно в том, что вы строите сеть на конкретной выборке сайтов двух полюсов, которые в момент построения сети имеют всего два полюса - да и нет. А полюсов реально не два, а на много больше окажется, когда будет запущена обработка шумной выдачи, потому, как в ней будут куча экземпляров, которые не будут иметь нужных факторов совсем, и куча, которые будут иметь перекрывающиеся факторы относительно текущего плана сети, а также, будет основная масса, которая будет иметь слишком мало нужных факторов текущего плана и постоянно будет зашумлять результирующий вектор.
Я чего то не понимаю наверное, после предыдущего лага кто то еще остался у этих горе-хостеров? Да, крылатая фраза: "ежики кололись, но продолжали жрать кактусы..." - именно про наших людей оказывается :)
KIS на этом ноуте полностью остановит работу. У них сейчас Crystal вышел (у каспера) - он немного пошустрее, но тоже на этом ноуте будет заметны тормоза. Зато это единственная вещь, которая остановит любого трояна пока его код не записался и не начал размножаться. Если прозевать с отключенным антивирем запись трояна, то потом его уже не один антивирь сканированием не найдет, только траф исходящий блочить постоянно придется.
Не, ну факторов не 420+, этого явно не хватит... 420 - это основных, и стопиццот производных от них. В каждом дереве - 10 факторов.
В обучающей и тестовой выборке - сайты, а не документы. По данным сайтам есть как длинная история параметров самого сайта, так и история всех купленных на нем когда-либо ссылок. По некоторым параметрам история не очень длинная, но она тоже есть. Слов типа "вектор" я не буду употреблять, чтобы больше народу поняло. Из этой большой истории сайта и ссылок, а также из других свойств сайта формируется набор факторов, который задействован в обучении. На выходе - прогнозный процент выпадания ссылок.
Все сайты в обучающей и тестовой выборке были разбиты на группы по этому проценту выпадания, т.е. от и до. Правильным считался прогноз, при котором прогнозный и реальный проценты попадали в ту же группу. Эффективность измерялась, как процент правильных прогнозов.
Примерно так. :)
Сорри конечно что вмешиваюсь в вашу высоко-интеллектуалку, но ваш метод это школьный уровень в нейротехнологиях. Этот способ обучения и составления факторов попахивает сферичностью лошадиной, ибо - никогда не достичь рабочего состояния сети, обученного таким способом. Это первый постулат нейропрограммера.
Ваша выборка после обучения начнет работать и давать результаты даже на новых представленных массивах сайтов (но только на тех, которые вы опять же сами отберете) а при анализе реальной группы сайтов без выборки - начнутся сбои. Вы начнете дообучать сеть и менять параметры - в итоге, опять получите приемлимый результат на новой выборке, но! - на старой выборке уже будет полный расколбас.
Это именно так и будет.
Ибо! - нельзя обучить сеть в которой имеется большое количество признаков (у которых имеются также собственные признаки) на основе заранее отобранных данных и составления признаков именно на основе этой выборки. Вы должны изначально задать признаки на основе ассесорского мышления, и лишь за тем, на их основе планировать сеть и обучение. Редактировать в такой сети можно только условия входа и условия анализа результата. Но сами признаки и факторы после развертывания сети уже не изменяются. Иначе, нужно заново планировать сеть с новыми параметрами.
P.S>в нейропрограмминге уже более 8-и лет, и ваш метод напоминает мне мои первые 3-5 месяцев в этой теме, когда приходишь в восторг от того, что пару обратных перцептронов могут сами проанализировать десяток параметров и выдать правильный результат (в основном цифровой, по первости неумения работать с более обширными структурами признаков и приводить их в числовой или функциональный вид).
Wolf вам верно всю ветку пытается втемяшить - это ошибка метода, а не реальность определения вероятности. А ошибка заключается именно в том, что вы строите сеть на конкретной выборке сайтов двух полюсов, которые в момент построения сети имеют всего два полюса - да и нет. А полюсов реально не два, а на много больше окажется, когда будет запущена обработка шумной выдачи, потому, как в ней будут куча экземпляров, которые не будут иметь нужных факторов совсем, и куча, которые будут иметь перекрывающиеся факторы относительно текущего плана сети, а также, будет основная масса, которая будет иметь слишком мало нужных факторов текущего плана и постоянно будет зашумлять результирующий вектор.
Вот как то так. Сорри еще раз.
Я чего то не понимаю наверное, после предыдущего лага кто то еще остался у этих горе-хостеров? Да, крылатая фраза: "ежики кололись, но продолжали жрать кактусы..." - именно про наших людей оказывается :)
Фирмы можете посоветовать, специализированные...?
проксик ру вам в помощь. Они на проф уровне этим занимаются.
intersilver, да, у них не без забубонов конечно, но зато как они красиво потом извиняются (всегда без денег и компенсаций :) )
Я до сих пор держу там много сайтов, и все благодаря их умению втереть что все будет хорошо и не повторится больше :)
Но, положа руку на сердце - сбои у них достаточно редки, поэтому, можно и терпеть такие выходки иногда.
потерто.... Сорри, прочитал как: "подскажите ПП по рукоБЛУдию..." :)
SMS Partner, подстраховался :) :)
KIS на этом ноуте полностью остановит работу. У них сейчас Crystal вышел (у каспера) - он немного пошустрее, но тоже на этом ноуте будет заметны тормоза. Зато это единственная вещь, которая остановит любого трояна пока его код не записался и не начал размножаться. Если прозевать с отключенным антивирем запись трояна, то потом его уже не один антивирь сканированием не найдет, только траф исходящий блочить постоянно придется.
Они у нас каждый подключены к гигабитному каналу
И? Где этот гигабит? Сегодня ночью тоже имелись проблемы не только в 1 мб, а даже скачка была со всех доступных 20-30 кб.
stryker, а каким образом, если ДЦ полицаи оккупировали :)
Спасиб Евгений, амнистировал мои страхи. На все мои подозрительные (которые замаскированные аффилиаты) показал что нет у них аффилиатов :)