Анализ текста, тестируем.

С определением уникальности что то не так... Обсалютно уникальный текст определил как неуникальный и вадал сайты схожей тематике но на них этого текста нет... вот...

да это просто проверка скрипта была. Вот и не стал менять.

Но тут случай, если информация вообще не введена. Зачем ругаться много раз, если можно один и мягко? :)

Progr@mmer\. добавил 27.05.2008 в 01:39

one, хех. :) Там ведь выдираются фразы, а не весь текст целиком. Так что он и определил как неуникальный.

mendel, можешь рассказать, как формируется строка запроса в поисковик? Самые частые слова + окружающий их текст в таком виде:

?

Используется OR или AND? По-моему, логично использовать AND, если повторений слов/словосочетаний мало (например, меньше 5 для самого встречающегося), а OR использовать, когда повторений много, но нужно следить за тем, чтоб в запросе не были одинаковые (читай: похожие) словосочетания. Хотя, конечно же, тут нужно всё эксперементально подбирать.

Используются ли в запросе к поисковику текст в кавычках? Т.е.:

Если да, то сколько слов максимум и минимум подставляется в запрос?

Вырезаются ли из запроса слова <= 4 символов?

По-моему, стоит поразмышлять на заданные мной вопросы. :)

Progr@mmer., понятно...Но меня это напугало и огорчило если честно... :)

Если неправильно ругается первый алгоритм то это плохо... а если второй то нормально, второй сильно придирчивый, его результаты надо руками проверять... всетаки это пока тестирование а не релиз, в релизе выдача второго будет называться чтото вроде "ВОЗМОЖНЫЕ копии".

Караул!!! Еще не успел скрипт написать а хакеры уже ломают!!! )))))))))))))))))))

Если я буду отделять отдельно случай что ничего не введено, то я буду выражаться не мягко :)

я думаю может сделать if(count(список слов за вычетом стопслов и другой воды) < 3) скажем("Слишком мало информации для анализа");

просто лень писать еще одни шаблон (код как и положено отделен от html).. всетаки у ругательства немного другая структура...хотя чтото действительно прийдется сделать из вышеназванного.

угу.. и во втором алогритме условия довольно мягкие... но фразы не всякие выдираются, так что первый алгоритм довольно правдив.

Могу только в аську :) и без этого будут гулять по форумам и блогам алгортмы обхода :)

запрос простенький, а алгоритм его формирования около 7кб занимает (не считая модуля морфологии который он тоже использует) :)

Только кавычки и есть. Без кавычек вообще белиберда выходит.

Минимум два слова в одной конструкции из кавычек... максимума нет... ограничивается только длиной запроса (есть механизм замены слишком длинных последовательностей более короткими)

меньше трех и стопслова.

по моему тоже :)

Попробуйте посмотреть в сторону ИИ. Пусть пользователи поправляют тематику, если она угадана неверно, и подтверждают, если она угадана верно (или распарсите какие-нибудь яндекс-новости по рубрикам). И не надо будет никакую БД руками забивать.

ИИ это жестоко. Размер обучающей последовательности должен быть слишком большой. Если КАЖДЫЙ выставит категорию, если она будет правильная и если людей будет в 20 раз больше чем сейчас то это займет несколько месяцев... :)

у меня правда сейчас мысль появилась прогнать базу в автомате по большой выборке текстов и сделать в ней отрицательные веса (используя в качестве обучающей последовательности выдачу самого рубрикатора) это может несколько улучшить качество, но все равно объем большой и лень :)

А на счет того чтобы попарсить - так откуда вы думаете взялась база в 50 тысяч слов с весами категорий? :) Правда парсили рамблер а не яндекс но какая разница...

Исправлюсь: для яндекса OR = ||, AND = &&.

:-D

не плохо. :)

а вот это - отличная идея! По-моему, стоит задуматься о её реализации и тестировании отдельно на этой же системе анализа текстов.

надеюсь, не referats.yandex.ru? :D

))))))))))))))))

mendel добавил 28.05.2008 в 18:27

Нарисовал дизайн, если так можно сказать :)

Ссылки пока не сделал... как оно вам? Пойдет?

Симпатишно.... ;)

Слушай, я проверяю свой текст, который с головы написал, а он - неуникальный.... Это как???