Сниппеты рип ?

Ringozo, Да.

на сайте научных публикаций Яндекса имеется статья с многообещающим названием «Поиск неестественных текстов» [1]. Там сказано примерно следующие “в неестественном тексте должно быть нарушено распределение пар [слов]… количество редких, нехарактерных для языка пар должно быть завышено по сравнению со стандартом, а количество частых пар – занижено”. Перед нами, таким образом, первая группа методов То есть, речь так или иначе идет о сравнении статистических параметров данного текста с параметрами «естественных» текстов. Помимо распределения пар, могут использоваться частоты n-грамм большего размера. В более современных работах [2] применяются также частоты n-грамм не самих слов, а частей речи, когда сначала каждому слову определяется часть речи (СУЩ-ПРИЛ-СУЩ-ГЛАГ), а потом подсчитывают частоты полученных n-грамм, и так далее.

Из статьи - https://habrahabr.ru/company/meanotek/blog/271965/

JakoKruzo, этот алгоритм в яндексе заметен на синонимайзерах, когда юзаются говносинонимы, которые часто состоят с устаревших слов. А вот как я называю "фейковые синонимы", т.е. замена не на синоним, а на синтаксически похожее слово - это прокатывает норм.

Сниппеты не только у Бинга. Отлично парсятся и из других ПС, я бы даже сказал, что получше

Это работает не только на синонимах)))

в каких например?

гугл, яндекс не напарсишь много

Именно так. Это называется анализ по Зипфу на естественность языка текста.

Его юзают все ПС, но он затратен по ресурсам, поэтому, используется он не сразу при индексе, а через некоторое время (от 2 до 8 месяцев) и вот тогда наступает звизда сайтам, которые его не проходят.

Но, тут тоже есть нюансы, нужно набрать совсем уж кислый порог по Зипфу, чтобы получить санкцию на весь сайт, а при небольшом отклонении, алго ссыкотит банить весь, сайт, потому, как параметр этот не 100% гарантирует лажу в тексте.

Так, что. для доров считай безопасна любая гвоно-генеренка, потому, как, пока дойдет до анализа текста, дор уже отживет и так свое и соберет траф.

Думаю, что ПС анализ по Ципфу делают одним из первых. Он очень простой.

Откуда там кто знает, юзают ПС анализ на ципфу или нет. На домыслах теории строить нелепо и глупо.

Взять десяток рандомных статей с топа, там по ципфе будет разбежка + - миллион (образно). ИМХО лажа все это. Можно хоть генеренку цербера загнать в индекс.

Перефразирую: Думаю, что если бы ПС делали анализ по Ципфу, то делали его одним из первых. Практика показывает, что ПС сразу делают комплексный анализ, и распознавание генерёнки не занимает много времени.

А в индекс сейчас всё само прекрасно заходит, только толк выходит разный.

А я отказался от генеренки в пользу сниппетов - трафа больше выходит.

В прошлом году, пока меня фокс не выгнал с вмсна, заморачивался по этой теме.

Но я генерил на основе шаблонов синтаксически разобранных предложений из сборника диктантов. Сами словоформы уже из тематической текстовки. Работало на лету, результат не хранил ввиду совсем уж мизерной нагрузки, выгоднее ядра наращивать оказалось.