AESCBC192

пример текста в ветке есть, но сейчас уже другой алгоритм на подходе.

по скорости - если алгоритм проявит себя как рабочий можно реализовать на c++ / gcc это даст скорость.

---------- Добавлено 15.09.2016 в 23:48 ----------

Кто просил Ципф без лемы по Morphy ?

<?php



class ZipfFreqAnalise {

	

	public $str;

	private $N;

	

	public function __construct( )

	{

		$M = new CMorphy( );

	}

	

	public function __destruct( )

	{

		

	}



	public function LoadAnalizedStr( $str )

	{

		$this->str = trim( $str );

		$this->str = preg_replace("|[.,-;:]+|i"," ",$this->str);

	}

	

	public function EtalonMatrix( )

	{

		return array(

			0  => 0.025185185185185 ,

			1  => 0.013333333333333 ,

			2  => 0.008461538461536 ,

			3  => 0.006666666666667 ,

			4  => 0.005185185185185 ,

			5  => 0.004444444444444 ,

	                6  => 0.003703703703704 ,

	                7  => 0.003703703703704 ,

	                8  => 0.002962962962963 ,

	                9  => 0.002962962962963 ,

	                10 => 0.002962962962963 ,

	                11 => 0.002222222222222 ,

			12 => 0.002222222222222 ,

			13 => 0.002222222222222 ,

			14 => 0.002222222222222 ,

			15 => 0.001481481481482 ,

			16 => 0.001481481481482 ,

			17 => 0.001481481481482 ,

			18 => 0.001481481481482 ,

			19 => 0.001481481481482 ,

		);

		

	}

	

	public function WordsToArray( )

	{

		var_dump( $this->str );

		

		$array_words = array( );

		$tok = strtok($this->str, " \t\n");

		

		while($tok) {

			$array_words[] = $tok;

			$tok = strtok(" \t\n");

		}



		$F = array( );

		

		foreach ( $array_words as $i => $w )

		{

			if ( strlen( $w ) > 6 )

			{

				$F[] = $w;

			}

		}

		$array_words = $F;

		

		return $array_words;

	}

	

	function RMS( $values, $round = 4 )

	{

        $sum = 0;

	    

		foreach ( $values as $val )

		{

	        $sum += pow( $val, 2 );

	    }

		

	    $rms = pow( ( $sum / count( $values ) ), 0.5 );

	    $rms = round( $rms, $round );

		

		return $rms;

    }

	

	public function PointCompare( )

	{

		$F = array_count_values( $this->WordsToArray( ) );

		

		$AF = array( );

		

		$i = 0;

		foreach ( $F as $j => $n )

		{

			$AF[$i] = $n;

			$i++;

		}

		

		arsort( $AF );

		

		foreach ( $AF as $j => $n )

		{

			$AF[$j] = $n / count($F);

		}

		

		$AFcompared = array_shift( array_chunk( $AF, count( $this->EtalonMatrix( ) ) ) );

		

		$E = $this->EtalonMatrix( );

		$R = array();

		foreach ( $AFcompared as $i => $fq )

		{

			$d = (abs($E[$i] - $fq) / $E[$i]);

			$R[] = $this->RMS( array($E[$i], $d) );

		}

		

		$res = round( 1 / $this->RMS( $R ), 2 ) * 100;

		

		

		return $res;

	}

}

правда без лемы погрешность ~300%, так что пример чисто ознакомительный.

Если бы ПС имели простые алгоритмы можно было бы пойти по пути упрощения, а сейчас стоит задача сделать сложное простым в использовании.

простой и быстрый - это пачка парсеров с шаблонизатором. это уже реализовано, так что если не востребованы алгоритмы генерации контента могу оставить их для приват версии, или сделать 2 на выбор.

итого задача сводится к 3м критериям:

мрфология

Ципф

уникальность

+ желательно читабельность и хотябы отдаленное наличие смысла.

чем Morphy плох?

Сниппеты по Ципфу 80-90%, возможно в этом причина их индекса.

по Ципфу - верхнюю точку берешь за 0.95 от нее отсчитываешь веса других точек, делаешь такие весовые матрицы для 10-11-12 словных итд предложений, а далее просто ложишь посчитанные веса слов на эту матрицу и смотришь расхождения, в местах склеек дергаешь шинглы.

на практике можно делать проще - берешь норм форму по всем словам, смотришь какие самые увесистые, берешь 3-4 и дрегаешь с ними парную чатсь речи. Совпадает с запросом хоть одно - предложение релевантно, а вообще можно просто нормализовать и предложение и запрос и по нему смотерть, опечатки, слэнг и прочие расхождения только нейронкой поймать можно.

---------- Добавлено 15.09.2016 в 11:27 ----------

print_r ($this->Morphy->lemmatize($wprepared, phpMorphy::NORMAL));

берет лему, этой лемой проверяешь предложения в цикле, впринципе этим можно обойтись для первой версии алгоритма.

если очень приближенно то в готовом виде алго для сниппета - берем запрос, переводим в нормальную форму - ед число, им. падеж итд, лему берем и ищем ее в лематезированном тексте, далее по номеру позиций забираем предложения. две строки и пару циклов.

статистика - круто, но на обучение нужна выборка более 10к подобных блоков, это долго и неэкономно, хотя это лучший вариант конечно, но на непроммасштабе приходится изощраться с оптимизациями и всякими кастыльными решениями вроде того что привел выше.

Ципф - это статистическое распределение, можно взвесить запрос в сниппете и вытащить конструкцию с тем же весом из предложений, обычно этим занимается нейронка. У решения есть миннус - долго обучать, сложно настраивать, можно пойти более простым путем, аппроксимировать и по косвенным признакам вытащить.

можно попробовать лему вытащить из текста, что-то вроде смыслообразующего центра.

---------- Добавлено 15.09.2016 в 10:12 ----------

Нашел интересный пример

function detect_encoding($text, $short = 1) {

    /*

    returns:

    none - encoding not detected

    w  - windows-1251

    k  - KOI8-R

    i  - ISO

    a  - DOS 866

    */



    setlocale(LC_CTYPE, 'ru_RU');



    $x_win = array('а'=>'0.07890365448505', 'б'=>'0.013981173864895', 'в'=>'0.043050941306755', 'г'=>'0.018687707641196', 'д'=>'0.027685492801772', 'е'=>'0.089285714285714', 'ж'=>'0.0094130675526024', 'з'=>'0.01578073089701', 'и'=>'0.071151716500554', 'й'=>'0.013427464008859', 'к'=>'0.038898117386489', 'л'=>'0.044435215946844', 'м'=>'0.032392026578073', 'н'=>'0.072120708748616', 'о'=>'0.11600221483942', 'п'=>'0.024363233665559', 'р'=>'0.040420819490587', 'с'=>'0.054817275747508', 'т'=>'0.063538205980066', 'у'=>'0.024363233665559', 'ф'=>'0.0016611295681063', 'х'=>'0.0080287929125138', 'ц'=>'0.0038759689922481', 'ч'=>'0.017303433001107', 'ш'=>'0.008859357696567', 'щ'=>'0.0024916943521595', 'ъ'=>'0.00027685492801772', 'ы'=>'0.018410852713178', 'ь'=>'0.017995570321152', 'э'=>'0.002906976744186', 'ю'=>'0.0065060908084164', 'я'=>'0.018964562569214');

    $x_koi = array('б'=>'0.07890365448505', 'в'=>'0.013981173864895', 'Ч'=>'0.043050941306755', 'з'=>'0.018687707641196', 'д'=>'0.027685492801772', 'е'=>'0.089285714285714', 'Ц'=>'0.0094130675526024', 'Ъ'=>'0.01578073089701', 'й'=>'0.071151716500554', 'к'=>'0.013427464008859', 'л'=>'0.038898117386489', 'м'=>'0.044435215946844', 'н'=>'0.032392026578073', 'о'=>'0.072120708748616', 'п'=>'0.11600221483942', 'Р'=>'0.024363233665559', 'Т'=>'0.040420819490587', 'У'=>'0.054817275747508', 'Ф'=>'0.063538205980066', 'Х'=>'0.024363233665559', 'ж'=>'0.0016611295681063', 'и'=>'0.0080287929125138', 'г'=>'0.0038759689922481', 'Ю'=>'0.017303433001107', 'Ы'=>'0.008859357696567', 'Э'=>'0.0024916943521595', 'Я'=>'0.00027685492801772', 'Щ'=>'0.018410852713178', 'Ш'=>'0.017995570321152', 'Ь'=>'0.002906976744186', 'а'=>'0.0065060908084164', 'С'=>'0.018964562569214');

    $x_iso = array('Р'=>'0.07890365448505', 'С'=>'0.013981173864895', 'Т'=>'0.043050941306755', 'У'=>'0.018687707641196', 'Ф'=>'0.027685492801772', 'Х'=>'0.089285714285714', 'Ц'=>'0.0094130675526024', 'Ч'=>'0.01578073089701', 'Ш'=>'0.071151716500554', 'Щ'=>'0.013427464008859', 'Ъ'=>'0.038898117386489', 'Ы'=>'0.044435215946844', 'Ь'=>'0.032392026578073', 'Э'=>'0.072120708748616', 'Ю'=>'0.11600221483942', 'Я'=>'0.024363233665559', 'а'=>'0.040420819490587', 'б'=>'0.054817275747508', 'в'=>'0.063538205980066', 'г'=>'0.024363233665559', 'д'=>'0.0016611295681063', 'е'=>'0.0080287929125138', 'ж'=>'0.0038759689922481', 'з'=>'0.017303433001107', 'и'=>'0.008859357696567', 'й'=>'0.0024916943521595', 'к'=>'0.00027685492801772', 'л'=>'0.018410852713178', 'м'=>'0.017995570321152', 'н'=>'0.002906976744186', 'о'=>'0.0065060908084164', 'п'=>'0.018964562569214');

    $x_dos = array(' '=>'0.07890365448505', 'с'=>'0.013981173864895', 'т'=>'0.043050941306755', 'у'=>'0.018687707641196', 'ф'=>'0.027685492801772', 'х'=>'0.089285714285714', 'ц'=>'0.0094130675526024', 'ч'=>'0.01578073089701', 'ш'=>'0.071151716500554', 'щ'=>'0.013427464008859', 'ъ'=>'0.038898117386489', 'ы'=>'0.044435215946844', 'ь'=>'0.032392026578073', '_'=>'0.072120708748616', 'ю'=>'0.11600221483942', 'я'=>'0.024363233665559', 'а'=>'0.040420819490587', 'б'=>'0.054817275747508', 'в'=>'0.063538205980066', 'г'=>'0.024363233665559', 'д'=>'0.0016611295681063', 'е'=>'0.0080287929125138', 'ж'=>'0.0038759689922481', 'з'=>'0.017303433001107', 'и'=>'0.008859357696567', 'й'=>'0.0024916943521595', 'к'=>'0.00027685492801772', 'л'=>'0.018410852713178', 'м'=>'0.017995570321152', 'н'=>'0.002906976744186', 'о'=>'0.0065060908084164', 'п'=>'0.018964562569214');



    if ($short) $text = substr($text, 0, 200);



    $len = strlen($text);

    for ($i = 0;$i < $len;$i++) {

        $let = strtolower($text[$i]);

        $t[$let]++;

    }



    if (is_array($t))

    foreach($t as $k => $v) {

        $t_win += $v * $x_win[$k];

        $t_koi += $v * $x_koi[$k];

        $t_iso += $v * $x_iso[$k];

        $t_dos += $v * $x_dos[$k];

    }



    $r = 'none';

    $tmp = max($t_win, $t_koi, $t_iso, $t_dos);

    if ($t_win == $tmp) $r = 'w';

    if ($t_koi == $tmp) $r = 'k';

    if ($t_iso == $tmp) $r = 'i';

    if ($t_dos == $tmp) $r = 'a';



    return $r;

}

?>

Это нейронка, в массиве весовые коэффициенты, упрощенная конечно, но принцип тот же.

Проще сгенерировать свой сниппет, перейдя по ссылке из выдачи, но без ненужных элементов, я об этом. А из этих кусочков уже клеить текст, плюс немного можно морфозаменой перемешать для уникализации.

не тот объем, второй момент - кодировку не нейро правят. думаю важен результат а сниппеты или нет - вопрос вторичный. оставлю сниппеты значит, это уже что-то вроде классики в подобного рода софтах))