Форум Практика оптимизации Doorways & Cloaking

зацените плиз теперь и мой доргенчиг :)

response · 2007-03-04T21:57:56.0000000Z

Зацените, плиз, тулзу. Накатал вчера поутру, сегодня добил еще чуток. Берет запрос, обращается к Яндексу, переходит по страницам топ10, вынимает оттуда предложения (фразы, оканчивающиеся на точку, восклицательный или вопросительный знаки), причем предложения делятся на "хорошие" - содержащий ключевик, по которому делался поиск, и "обычные" - не содержащие этот ключевик, либо содержащие его в непринимаемой заданными регэкспами форме. После того, как топ10 распарсен, вы можете пронаблюдать результаты: щелкаем крыской по урлу, выводимому в верхнем окне, снизу видим "хорошие" и "обычные" фразы, полученные с этой страницы. Далее справа есть форма генерации текста. Выбираем финальный лимит фраз в генерируемом тексте, указываем соотношение "хороших" фраз к "обычным" (настраиваем тематическую воду), и жмем "Сгенерить". Прога бегает по массивам фраз, используя следующий алгоритм (ключевые моменты): - берется "хорошая фраза" n-го урла, добавляется в результирующий текст. - последующие x "обычных" фраз (та самая вода, количество которой мы указали перед генерацией) , берутся из последующих урлов (n+1, n+2, ..., n+n), по рандому из каждого. - далее индекс используемого для добычи "хорошей" фразы урла сдвигается на один. Ну и т.д. Приследовалась цель свести к минимуму совместное использование "хороших" и "обычных" фраз из одного документа, или хотя бы сделать расстояние максимальным. Само собой, демка "наколенная". Отлавливается крайне мало эксепшынов, только необходимый минимум типа таймаута (кстати, о таймаутах она умалчивает, так что если вы уверены, что результат должен быть, а его нет - попробуйте попинговать опрашиваемые серваки - может дело в соединении). Если тестовый образец покажет себя хорошо, допишу учет количества использования фраз (сейчас фразы могут повторяться, ибо используется рандом), ну и пр. улучшения, делающие контент наиболее "оригинальным" ;) Так же надо будет поработать над выемкой фраз. Для теста используйте слово "коттедж" - сейчас в топ10 яндекса висят нормальные тексты :bl: . Но например по "голым девушкам" висит шлак (менюшки всякие, фразы без пунктуации и пр.), с которым у дора ниче особо не получается. В общем я сам понимаю, что тут еще работать и работать, но пока потестю так :) Congen.zip - там один .exe файл, без иконки, 32 кила в оригинале (если у вас больше, то может и у меня вирь). 2.txt - пример выходного текста (50 предложений по запросу "коттедж", 3 "обычных" фразы на одну "хорошую"). Жду ваших каментов :idea: зы для работы доргена необходим второй дотнет. ззы ой, наврал! в "обычные" фразы попадают вообще любые предложения. Весь день пока не за компом был, собирался пофиксить, сделать выборку только предложений БЕЗ ключевика, в итоге сжился с мыслью, что уже все готово. В общем, это тоже в раздел 2do :)

konfez

19 июня 2007, 17:01

#41

'nOop[ka:
']Хм ) я ссылку не на дорген просил. А на дотнет )
кстати если кто то тоже ищет то вот тут эта штуковина лежит )
xttp://www.microsoft.com/downloads/details.aspx?familyid=0856EACB-4362-4B0D-8EDD-AAB15C5E04F5&displaylang=ru

а для чего он нужен?

посмотрел, так фреймворк у меня давно стоит, как комп взял сразу поставил

Все вышесказанное является моим личным мнением, основывающимся на личном опыте и не может являться рекомендацией к действию или основой для принятия решения.

Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ

VK приобрела 70% в структуре компании-разработчика red_mad_robot

зацените плиз теперь и мой доргенчиг :)