Выборка из mysql и сравнение значений PHP

в чем смысл этого сравнивания, что в итоге это должно давать?

Это сравнивание проверяет схожесть значения в %, тоесть какой процент схожести значения с значением если значение превышает 10% значит дубль

Ilekor, и как часто надо это выполнять?

подобный механизм выполняется 1-2 раза в месяц

Ilekor, ну так разбить задачу.

Вообще вам бы в крон (планировщик) засунуть эту задачу и в скрипте генерировать отчет, который смотреть через вебморду. Ну и разбивать над блоки, а не сразу все из БД загружать.

По поводу алгоритма сравнения - ваша запись

означает, что вы по-очереди сравниваете значения или первое значение со значением, полученным из объединения остальных?

А какой тип у колонки sig и как выглядит сравнение двух значений между собой?

Вам нужно проверить уникальность строк? Group by не подходит?

В общем не дожидаясь ответа по вангую. Если я верно понимаю задачу, то сравнивать все значения со всеми не обязательно, т.к. если упорядочить данные по некоторой сравниваемой величине, то сравнивать нужно только соседние элементы, допустим имеем упорядоченный список:

[1,2,3,4,20,24,28,40,41,50,90,100,101]

задача найти группы разность между элементами которых не более 10., тогда достаточно взять элемент и сравнивать его со следующим, пока условие не перестанет выполняться, т.е

abs(1 - 2) < 10 # да, добавляем элементы в общее множество

abs(2 - 3) < 10 # аналогично

......

abs(4-20) < 10 # нет, предыдущее множество сформировано, начинаем формировать новое

abs(20 - 28) < 10 и т.д.

таким образом задача решается в один проход, даже для кол-ва элементов более млн. все будет быстро

на python, код будет таким:

import random

# создаем тестовый список
items = [1,2,3,4,20,24,28,40,41,50,90,100,101] # тестовые данные

#items = [1e10 * random.random() for x in xrange(int(1e6))] # на большом количестве данных если нужно
# сортируем по возрастанию своей функцией
items = sorted( items, key=lambda x: x ) 

similar = []
# обходим сравнивая текущий элемент со следующим
for i, e in enumerate(items[:-1]):
    if abs(e-items) <= 10.0:
        if not similar:
            similar.append(e)
        similar.append( items )
    else:
        if similar:        
            print similar
        similar = []

if similar:
    print similar

вывод по данным:

[1, 2, 3, 4]
[20, 24, 28]
[40, 41, 50]
[90, 100, 101]

но затык может быть в том, что множество ваше не сортируемое и условно "расстояние" элемента 1 до 10 может равняться "расстоянию" от 5 до 6, но об этом вы ничего не сказали

Друзья, в значении хранится текстовый код изображения, вот эти коды и сравниваются на похожесть кодов, вот так

сначала получаем и сравниваем sig1 и sig2, mysql такого сравнения не сделает, это функция библиотеки php

$r_sig = puzzle_vector_normalized_distance($value1['sig'], $value2['sig']);

echo $r_sig

и так до тех пор пока sig1 не пройдет все значения

после чего sig2 начинает также проходить по все проверкам и так пока не закончится