Xover: неа, я чисто теоритически хотел посмотреть что получилось
Увы, но я не любитель засвечивать свои сайты. Вот такой вот я конспиратор ;)
Но вы можете посмотреть на простенький пример в начале топика, а также сами попробовать на вашем тексте.
Xover: 10 минут работы core2duo на одну статью все-таки.
Это еще средняя статья была. При идеальном качестве должно быть дольше...
Вот давайте посчитаем. Допустим в вашей статье 20 выборок (блоков {}), каждая из которых может принимать один из 3-х вариантов. Легко посчитать всевозможные варианты: это будет 3 в 20 степени = 3486784401 генераций. Вам надо например выбрать 50 лучших.
Вы начали перебирать. Допустим вы условно посчитали (программа так не поступает) первые 50 лучшими. Далее вы берете 51-ю генерацию и сравниваете с 50 отобранными. Если какаято отобранная хуже, чем текущая, вы ее заменяете. И так вам надо сделать для всех 3486784401 генерацией.
Поэтому не удивляйтесь, что так долго. Качественно быстро никогда не бывает. 🚬
P.S. Если будете пробовать - советую в качестве вариантов указывать не слова (как в моем примере), а куски или целиком предложения. Этим вы сможете повысить качество при меньшем кол-ве выборок ({}).
Увы, но я никому никогда не "засвечиваю" свои сайты. Такой мой принцип. 🚬
Статьи добавлены с ссылками на сайт, на котором нету прочих работ уже в течении 3-х месяцев. Если важен результат - при очередном АП-е ТИЦ-а я могу сообщить "как сколько и насколько". ;)
Professor: Задача при таком подходе будет сильно усложняться , чем больше текст - тем сложнее его "уникализировать"
Не спорю, но увеличив кол-во и сложность "выборок" (вариаций, перечисленных в {} через |) - можно опять получить нужную степень уникальности.
Professor: тем проще найти дубляжи
При малом кол-ве выборок Вы получите меньше уникальных вариантов, которые подходят вашим критериям, но дубли программа не пропустит.
Но есть и другая сторона медали:
Эти алгоритмы (Кива и Левенштейн) достаточно сложны. Это большой +++ в том, что они практически не ошибаются, но есть и минус - достаточно сложный алгоритм выполняться дольше по времени. И чем больше текст и кол-во "выборок", тем дольше будет выполняться.
Но мне лично удобнее поставить на ночь генерацию статьи с отбором 100 лучших вариантов, нежели заплатить реврайтерам по 2-3уе за каждый из 100 вариантов статьи.
P.S. 100 вариантов статьи текстом ~2к знаков я генерировал почти 17 часов. Проц: Core 2 Duo E6400. Кол-во памяти для программы не важно. В итоге электричества по деньгам я спалил на несколько порядков меньше, чем заплатил бы реврайтерам. 🚬
Professor: что считается степенью уникальности? По идее, все генерации - успешны и уникальны... и когда всего возможных вариантов генерации 10 в 5-й, то выбрав 100 вариантов вы получите 100% уникальность, но если Вы используете тексты 10 в 6-й раз, то уникальность будет 1/10 ...
По моим понятиям уникальность - разность по Левенштейну не менее нужного мне значения. Ведь текст может быть как угодно изменен. Либо это слова на синонимы поменяли, либо куски предложений ... либо абзац переписали. Но вы же не собираетесь вручную после обычного генератора выбирать нужные (наиболее уникальные) 100 из 100000000000000000 всевозможных варинтов (при этом каждый проверять на уникальность относительно остальных 99 "удачных" вариантов)? Для этого после перебора всех вариантов можно отбросить явные совпадения, далее наложить методы Кивы и Левенштейна. Согласны, что удобнее если программа сделает это дело за вас а вы всего лишь выберете % уникальности и нажмете "Старт". ;)
Professor: http://www.xape.ru/ , так что нового ничего нет ... на форуме даже был перловый или php (т.е. серверный - что приятнее) скрипт, который оное реализовывал...
Про этот вкурсе. Но, насколько я понял, он просто генерирует все подряд. Может я не заметил, но где у него можно выбрать степень уникальности каждой генерации относительно остальных успешных генераций? 😕
gutako: -Mouse-, и чем этот отличается от других? Зачем было писать то, что уже есть во многих софтах в таком же виде? Реальная идентичная вещь уже реализована множество раз...
Может я плохо и искал, не спорю, но покажите мне бесплатный аналогичный софт. 😕
gutako: Пишите что-то уникальное :-) имхо
Вот насчет уникальности с удовольствием выслушаю ваши предложения. 🚬
Параметр уникальности нужен чтобы не просто сгенерировать все варианты (в данном примере их 5832 штук), но и выбрать не похожие друг на друга варианты. Он чуть чуть отличается от параметра "кол-во вариантов на выходе".
response:
почему бы просто не перебирать все брутом, тогда отпадет необходимость в "сравнении со всеми отобранными при предыдущем сканировании", что, по моему скромному мнению, занимает львиную долю времени?
вычленяете все {}, парсите на слова, составляете словари синонимов, и вперед, по индексам перебирать. Там же на лету можно будет по тем же индексам считать "процент", на который текущий текст изменился по сравнению с оригиналом.
Пробовал. Качество не то будет. Я привел примитивный пример. Попробуйте усложнить текст и добавьте еще несколько выборок. ;)
response:
зы
пофиксите добавление пустого паттерна - я раз пять кликнул по кнопке эдд, и прога отмолчалась, потом догнал, что к чему, а в списке паттернов уже 5 пустых итемов :)
Фиксить буду потом. Пока что алгоритм на коленках. GUI исправляется легко. Но меня волнует щас другое:
- Насколько качественно работает?
- Будет ли Яндекс (Гугля) считать эти тексты одинаковыми?
А что все хотят от нее получить? тИЦ и улучшение позиции. Больше с нее ничего не получишь.
ТИЦ влияет только на позиции в яндекс каталоге.
На позицию в серпе ТИЦ не влияет.
Все это ... (чушь вообщем).
Так считать нельзя. Листайте форум. Раз в 2-3 дня это обсуждается постоянно.
неа, я чисто теоритически хотел посмотреть что получилось
Увы, но я не любитель засвечивать свои сайты. Вот такой вот я конспиратор ;)
Но вы можете посмотреть на простенький пример в начале топика, а также сами попробовать на вашем тексте.
10 минут работы core2duo на одну статью все-таки.
Это еще средняя статья была. При идеальном качестве должно быть дольше...
Вот давайте посчитаем. Допустим в вашей статье 20 выборок (блоков {}), каждая из которых может принимать один из 3-х вариантов. Легко посчитать всевозможные варианты: это будет 3 в 20 степени = 3486784401 генераций. Вам надо например выбрать 50 лучших.
Вы начали перебирать. Допустим вы условно посчитали (программа так не поступает) первые 50 лучшими. Далее вы берете 51-ю генерацию и сравниваете с 50 отобранными. Если какаято отобранная хуже, чем текущая, вы ее заменяете. И так вам надо сделать для всех 3486784401 генерацией.
Поэтому не удивляйтесь, что так долго. Качественно быстро никогда не бывает. 🚬
P.S. Если будете пробовать - советую в качестве вариантов указывать не слова (как в моем примере), а куски или целиком предложения. Этим вы сможете повысить качество при меньшем кол-ве выборок ({}).
дайте посмотреть эти статьи. и исходную.
Увы, но я никому никогда не "засвечиваю" свои сайты. Такой мой принцип. 🚬
Статьи добавлены с ссылками на сайт, на котором нету прочих работ уже в течении 3-х месяцев. Если важен результат - при очередном АП-е ТИЦ-а я могу сообщить "как сколько и насколько". ;)
Задача при таком подходе будет сильно усложняться , чем больше текст - тем сложнее его "уникализировать"
Не спорю, но увеличив кол-во и сложность "выборок" (вариаций, перечисленных в {} через |) - можно опять получить нужную степень уникальности.
тем проще найти дубляжи
При малом кол-ве выборок Вы получите меньше уникальных вариантов, которые подходят вашим критериям, но дубли программа не пропустит.
Но есть и другая сторона медали:
Эти алгоритмы (Кива и Левенштейн) достаточно сложны. Это большой +++ в том, что они практически не ошибаются, но есть и минус - достаточно сложный алгоритм выполняться дольше по времени. И чем больше текст и кол-во "выборок", тем дольше будет выполняться.
Но мне лично удобнее поставить на ночь генерацию статьи с отбором 100 лучших вариантов, нежели заплатить реврайтерам по 2-3уе за каждый из 100 вариантов статьи.
P.S. 100 вариантов статьи текстом ~2к знаков я генерировал почти 17 часов. Проц: Core 2 Duo E6400. Кол-во памяти для программы не важно. В итоге электричества по деньгам я спалил на несколько порядков меньше, чем заплатил бы реврайтерам. 🚬
что считается степенью уникальности? По идее, все генерации - успешны и уникальны... и когда всего возможных вариантов генерации 10 в 5-й, то выбрав 100 вариантов вы получите 100% уникальность, но если Вы используете тексты 10 в 6-й раз, то уникальность будет 1/10 ...
По моим понятиям уникальность - разность по Левенштейну не менее нужного мне значения. Ведь текст может быть как угодно изменен. Либо это слова на синонимы поменяли, либо куски предложений ... либо абзац переписали. Но вы же не собираетесь вручную после обычного генератора выбирать нужные (наиболее уникальные) 100 из 100000000000000000 всевозможных варинтов (при этом каждый проверять на уникальность относительно остальных 99 "удачных" вариантов)? Для этого после перебора всех вариантов можно отбросить явные совпадения, далее наложить методы Кивы и Левенштейна. Согласны, что удобнее если программа сделает это дело за вас а вы всего лишь выберете % уникальности и нажмете "Старт". ;)
http://www.xape.ru/ , так что нового ничего нет ... на форуме даже был перловый или php (т.е. серверный - что приятнее) скрипт, который оное реализовывал...
Про этот вкурсе. Но, насколько я понял, он просто генерирует все подряд. Может я не заметил, но где у него можно выбрать степень уникальности каждой генерации относительно остальных успешных генераций? 😕
ссылки на генераторы уникальных ссылок уже приводились тут много раз
Перерывал весь форум. Ни одной аналогичной, бесплатной, програмки я не нашел. 😕 Будьте добры показать ссылки на эти творения. ;)
(кроме весна яндекс ру)
-Mouse-, и чем этот отличается от других? Зачем было писать то, что уже есть во многих софтах в таком же виде? Реальная идентичная вещь уже реализована множество раз...
Может я плохо и искал, не спорю, но покажите мне бесплатный аналогичный софт. 😕
Пишите что-то уникальное :-) имхо
Вот насчет уникальности с удовольствием выслушаю ваши предложения. 🚬
что за "параметр уникальности", зачем он вам?
Параметр уникальности нужен чтобы не просто сгенерировать все варианты (в данном примере их 5832 штук), но и выбрать не похожие друг на друга варианты. Он чуть чуть отличается от параметра "кол-во вариантов на выходе".
почему бы просто не перебирать все брутом, тогда отпадет необходимость в "сравнении со всеми отобранными при предыдущем сканировании", что, по моему скромному мнению, занимает львиную долю времени?
вычленяете все {}, парсите на слова, составляете словари синонимов, и вперед, по индексам перебирать. Там же на лету можно будет по тем же индексам считать "процент", на который текущий текст изменился по сравнению с оригиналом.
Пробовал. Качество не то будет. Я привел примитивный пример. Попробуйте усложнить текст и добавьте еще несколько выборок. ;)
зы
пофиксите добавление пустого паттерна - я раз пять кликнул по кнопке эдд, и прога отмолчалась, потом догнал, что к чему, а в списке паттернов уже 5 пустых итемов :)
Фиксить буду потом. Пока что алгоритм на коленках. GUI исправляется легко. Но меня волнует щас другое:
- Насколько качественно работает?
- Будет ли Яндекс (Гугля) считать эти тексты одинаковыми?
И тд. и тп. 🚬