Lsi: зачем и почему

то что по это у Я есть только один вариант - когда берем эту фразу - и ручками помечаем что это название фильма ... а потом производим перетрубас...

любой другой адекватный вариант ранжирования должен был бы дать выдачу - текста про осень в городе нью йорk -

- что лишний раз доказывает что никакого LSI нет и никогда не было!

---------- Добавлено 01.10.2019 в 04:08 ----------

ясно.

тогда будем делать как она сказала -чтобы продвинуть запрос создание сайтов бум писать про артатого...

-0.209*"asterica" + -0.151*"студия" + -0.139*"проект" + 0.133*"артатый" + 0.133*"выгодный" + -0.125*"scrum" + -0.124*"надежный" + 0.119*"товар" + -0.118*"создавать" + -0.116*"компания" 

Так давай, сделай красиво. Докажи, что это тема хороша. У тебя уже есть окружение слов "осень" - вперёд. Пишешь какую-нибудь статью, впендюриваешь в неё все эти напарсенные слова - и ты король. :)

ИМХО, это на дорах гонять. Чтобы с лету ПС не банили при автозамене слов на нужные.

Не претендую на "гуру", но пока этот список слов из ваших моделей выглядит очень бесполезно, применительно к SEO-копирайтингу. Гораздо лучшего эффекта можно добиться простым подсчетом пересечений каждого слова между различными документами из топа и дальнейшей ручной отбраковкой неподходящих слов.

Применение LSI в том виде, в котором оно у вас, навскидку, такое - можно определять неоднозначные запросы, попробуйте на примере топов по запросам в яндексе "цезарь" или "наполеон" разбить пространство прямой линией на два класса - назовем их условно "кулинария" и "история". Если получится, значит есть-таки полезный кейс у "настоящего" LSI.

timo-71, это все давно используется на практике. Но помните, что поисковые системы не используют конкретно LSI.

Это без проблем. Каждая строчка - тема, количество которых задается lsi_model = gensim.models.LsiModel(corpus=corpus, id2word=dct, num_topics=14) при построении модели

<class 'gensim.models.lsimodel.LsiModel'>

0.720*"цезарь" + 0.212*"год" + 0.207*"the" + 0.182*"caesar" + 0.130*"julius" + 0.117*"гай" + 0.115*"of" + 0.108*"помпей" + 0.107*"римский" + 0.107*"война"

0.717*"салат" + 0.208*"цезарь" + 0.203*"рецепт" + 0.183*"масло" + 0.141*"сыр" + 0.132*"соус" + 0.123*"курица" + 0.115*"оливковый" + 0.114*"куриный" + -0.112*"the"

-0.300*"the" + 0.294*"цезарь" + 0.251*"помпей" + -0.216*"caesar" + -0.176*"салат" + -0.171*"julius" + -0.166*"of" + 0.156*"власть" + 0.151*"войско" + 0.133*"рим"

-0.364*"конкурс" + -0.268*"нарезать" + -0.230*"вкус" + -0.184*"блюдо" + -0.170*"минута" + -0.155*"добавлять" + 0.153*"цезарь" + 0.148*"салат" + -0.129*"спецпроект" + -0.128*"масло"

-0.667*"конкурс" + -0.236*"спецпроект" + -0.203*"блюдо" + 0.168*"масло" + 0.167*"нарезать" + -0.129*"мультиварка" + 0.101*"минута" + -0.100*"рецепт" + 0.096*"соль" + 0.094*"перец"

0.448*"фильм" + 0.239*"юлий" + -0.161*"войско" + -0.151*"помпей" + 0.144*"человек" + 0.130*"император" + 0.126*"римский" + 0.124*"сулла" + 0.111*"становиться" + 0.110*"полководец"

0.285*"фильм" + -0.271*"гай" + -0.222*"юлий" + 0.211*"рецепт" + -0.194*"римский" + -0.153*"масло" + 0.147*"шаг" + -0.144*"юлия" + -0.137*"конкурс" + -0.125*"становиться"

0.328*"фильм" + -0.284*"рецепт" + -0.217*"шаг" + -0.191*"соус" + 0.163*"масло" + -0.154*"гай" + 0.119*"помпей" + -0.113*"римский" + -0.113*"курица" + -0.112*"домашний"

-0.292*"соус" + 0.189*"вкус" + 0.170*"салат" + -0.167*"пармезан" + 0.165*"классический" + -0.161*"ложка" + 0.155*"блюдо" + 0.152*"простой" + 0.146*"рецепт" + -0.146*"масло"

-0.255*"юлиан" + -0.251*"август" + -0.249*"власть" + -0.230*"титул" + -0.148*"правитель" + 0.146*"помпей" + 0.145*"гай" + -0.143*"констанция" + -0.140*"император" + -0.128*"галл"

0.305*"ложка" + -0.208*"шаг" + 0.151*"курица" + -0.144*"сыр" + 0.141*"чайный" + -0.137*"соус" + 0.133*"столовый" + -0.118*"соль" + 0.118*"нарезать" + 0.117*"добавлять"

0.196*"гай" + -0.176*"год" + -0.167*"цезарь" + 0.165*"салат" + 0.139*"юлия" + 0.131*"принимать" + -0.131*"становиться" + 0.107*"фильм" + -0.107*"великий" + -0.107*"однако"

-0.217*"римский" + 0.185*"гай" + -0.164*"война" + -0.153*"император" + 0.153*"принимать" + 0.123*"политик" + 0.101*"становиться" + -0.098*"юлий" + -0.096*"войско" + -0.096*"однако"

-0.157*"должность" + -0.157*"республика" + -0.151*"theperson" + -0.132*"империя" + -0.124*"год" + -0.115*"провинция" + -0.115*"римский" + -0.112*"биография" + -0.109*"правление" + -0.109*"деятель"



<class 'gensim.models.lsimodel.LsiModel'>

0.715*"наполеон" + 0.426*"год" + 0.146*"армия" + 0.143*"франция" + 0.139*"французский" + 0.110*"бонапарт" + 0.086*"становиться" + 0.083*"войско" + 0.080*"военный" + 0.078*"император"

-0.525*"торт" + -0.286*"мука" + -0.269*"рецепт" + -0.239*"сахар" + -0.228*"наполеон" + -0.223*"масло" + -0.213*"молоко" + -0.211*"сливочный" + 0.193*"год" + -0.184*"крем"

0.360*"год" + -0.327*"бонапарт" + -0.299*"франция" + -0.219*"император" + -0.147*"французский" + 0.118*"тыс" + 0.115*"май" + -0.110*"фильм" + -0.106*"становиться" + -0.104*"генерал"

0.296*"наполеон" + 0.261*"фильм" + -0.241*"год" + -0.213*"франция" + 0.209*"конкурс" + 0.149*"человек" + 0.144*"клавье" + -0.144*"мука" + -0.121*"сахар" + -0.111*"молоко"

-0.657*"конкурс" + -0.233*"спецпроект" + -0.222*"блюдо" + -0.200*"рецепт" + 0.130*"наполеон" + -0.127*"мультиварка" + -0.126*"год" + 0.125*"мука" + -0.122*"торт" + 0.114*"сахар"

0.520*"бонапарт" + 0.252*"год" + 0.218*"император" + 0.136*"биография" + -0.115*"наполеон" + -0.115*"франция" + 0.113*"становиться" + -0.109*"фильм" + -0.103*"армия" + -0.087*"империя"

0.369*"год" + 0.324*"фильм" + -0.224*"наполеон" + 0.179*"клавье" + 0.143*"человек" + 0.119*"исторический" + 0.116*"история" + 0.110*"сериал" + 0.109*"роль" + -0.099*"англия"

-0.306*"конкурс" + 0.296*"торт" + -0.247*"мука" + 0.235*"приготавливать" + -0.230*"сахар" + -0.209*"сливочный" + -0.205*"масло" + -0.201*"молоко" + 0.172*"рецепт" + 0.166*"слоеный"

0.180*"битва" + -0.161*"the" + -0.154*"кавалер" + -0.151*"орден" + -0.130*"and" + -0.119*"of" + -0.107*"время" + -0.103*"император" + -0.097*"википедия" + -0.096*"буонапарт"

0.188*"французский" + -0.186*"биография" + -0.149*"становиться" + -0.146*"военный" + -0.145*"страна" + -0.136*"жозефина" + -0.125*"париж" + 0.124*"наполеон" + -0.118*"император" + 0.114*"республика"

0.285*"французский" + 0.167*"век" + 0.146*"деятель" + 0.144*"государственный" + -0.118*"большой" + 0.109*"война" + -0.106*"бонапарт" + -0.105*"кавалер" + -0.102*"получать" + 0.101*"наполеоновский"

0.300*"биография" + -0.169*"франция" + 0.152*"интересный" + -0.144*"год" + 0.133*"краткий" + 0.122*"деятельность" + 0.112*"поход" + 0.111*"факт" + 0.109*"бежать" + 0.107*"жена"

0.138*"полководец" + 0.127*"биография" + 0.122*"интересный" + 0.118*"факт" + 0.110*"однако" + 0.109*"являться" + 0.108*"француз" + 0.107*"результат" + -0.097*"карьера" + -0.094*"жена"

0.191*"краткий" + 0.190*"полководец" + 0.187*"великий" + 0.169*"армия" + 0.132*"союзный" + -0.126*"однако" + 0.122*"отступать" + 0.113*"сражение" + 0.109*"нужный" + 0.099*"карта"

0.231*"карта" + 0.197*"подарочный" + 0.197*"рубль" + 0.197*"книжный" + 0.197*"магазин" + 0.166*"класс" + 0.164*"ребенок" + 0.156*"биография" + -0.154*"великий" + 0.145*"получать"

цезарь салат

timo-71, вы понимаете, что они вас не понимают? просто интересно... Вы, если, хотите разобраться конкретно с LSI, то не обращайте внимание на контент содержащий вместе слова LSI и копирайтинг. Получается разговор слепого с глухим.

В контексте Серча, предлагаемое вами решение не нужно, его нельзя применить в оптимизации и в заказе текстов — слишком мелко. Кроме того, я вам намекал, что в методе сбора может быть ошибка, т.к. СЕРП не однороден по ранжированию и попытка проиндексировать интент через представление в СЕРПе может дать размытый результат.

ищите форум лингвистов, там вас поймут.

Ну почему? Понимаем. Не понятно что хочет ТС на выходе.

Наверное хочет написать очень подробное ТЗ дешевому копирайтеру, вместо того, чтобы дать тему хорошему и более дорогому.

Нет. Он заморочился на том, что парсит СЕРП по запросу и индексирует его, полученные в результате индексы (не стоит воспринимать их как слова) он предлагает к применению, например для самостоятельного "сглаживания" границ между семантическими полями, за счет неявных/интентных синонимов.

Сам метод LSA/LSI используется для индексации вычищенных корпусов и для их последующего сопоставления по вероятному смыслу, это "шестеренка" огромной статистической машины, которая даже в ПС не используется в силу ресурсозатратности.

Тем не менее базовые методики расчета можно использовать для ограниченного объема семантики, например для 1000 документов СЕРПа ПС. К моменту нахождения интента, документы уже будут отранжированы по BM25 и это сильно сэкономит "электричество" Это пробовали в Палехе и это не заработало, многие из вас помнят.

Теперь к этой мульке привязывают только усредненные данные (Королев), а не суть-тексты, из-за этого началась путаница между непопаданием в семантическое поле запроса и ограничением в ранжировании из-за "переоптимизации"; Тулзы а-ля Арсенкин, как раз помогают посчитать вероятность того и другого.

Все! Как либо влиять на эту хрень из под парсинга выдачи невозможно ибо для этого нужно попасть в этот СЕРП, а тогда теряется смысл. Единственное для чего можно ее применить на уровне SEO, это, например рассчитать облако интентов одной конкретной коллекции сайтов, для создания собственного.

Например берем запрос, берем историю выдачи до ТОП-100, за пару лет, берем массив хостов и считаем. В последствии, при кластеризации это может сильно пригодиться для прототипирования поведения пользователя, например в ИМ если бюджеты позволяют думать о тестировании трафика))) Сама Тулза выйдет тоже не бесплатной по ресурсам так что он-лайн ждать ее не приходится.

Терминологическая проблема в том, что первый абзац определения LSI продали вместо ссылочного на взлете Минусинска, а разбираться никто не стал... или не смог, но это нормально.