Странное поведение Mysql

Потому, что LIMIT это не

Это сделай всё, что я хочу со всеми записями, а потом отбрось все, кроме 100

Разницу понимаешь? Поэтому LIMIT пишется в конце запроса.

---------- Добавлено 19.01.2019 в 20:55 ----------

Может их по факту столько там.

Я не привел весь скрипт, может в итоге логики лимит потом и станет в конец. Но работать он должен как я описал. И он работал так в первые запуски. Чего по фатку столько? В таблицу скан записывается 1 когда она обработана, всего записей 350.000.

По идее они должны обрабатываться пачками согласно лимиту. Но если сейчас опять тормознуть крон и запускать срипт вручную через консоль, то кол-во обрабатываемых им записей не поддается логике - 5, 20, 127, но никак не столько сколько задано в лимите

выборку запусти без лимита и посмотри сколько там записей вообще.

Также у тебя на полях есть индексы? Случаем не прописано в системе задержка по вставке индексов?

Я итак знаю сколько записей в 1 и 2 таблице. скрип обновляет поле scan - ставит туда 1, это значит эта запись проанализирована.

В самом конце скрипта есть такое

function lock($name)

{

    $lock = sys_get_temp_dir() . "/$name.lock";

    $fp = fopen($lock, 'wb');

    if (!flock($fp, LOCK_EX | LOCK_NB)) {

        return false;

    }



    register_shutdown_function(function () use ($fp, $lock) {

        flock($fp, LOCK_UN);

        fclose($fp);

        unlink($lock);

    });



    return true;

}

а в начале такое

if (lock('data_table_level_process')) {

    define('DB_HOST', 'localhost');

    define('DB_NAME', 'test');

    define('DB_USER', 'test');

    define('DB_PASS', 'ПАРОЛЬ');



    try {

        $db = new PDO("mysql:host=" . DB_HOST . ";dbname=" . DB_NAME, DB_USER, DB_PASS);

        $db->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

        $db->exec("SET NAMES utf8");

    } catch (PDOException $e) {

        echo "Connection failed: " . $e->getMessage();

    }

кодер его написавший тоже без понятия почему скрипт так странно работает.

В таблице №1 есть только первичный ключ на ID и индекс на поле scan

Проверь, чтобы были ещё индексы на полях: fullname и shortname.

Эти поля из таблицы 2, там есть индексы. Вторая таблица вообще не обновляется, только сравнивается. Может этот lock виноват, как корректно убрать его?

В итоге за ночь скрипт затормозился и делал обновление 2-3 записей при лимите 200.

Как такое возможно?

Простые запросы, четкий лимит. Скрипт начал работать ровно так как от него и ожидали - четко соблюдая лимит и потом затормозился, что может вызвать такое?

ВЫ на одновременную работу двух скриптов грешите, что незаконченный первый запуск блокирует второй скрипт? В процессах два скрипта одновременно не видно? Я к тому, что создать lock файл проверки, что пока скрипт не закончил работу, второму не давать запускаться , чтобы одновременно два скрипта не запускались. Или запустить в ручном режиме вообще без лимита в бекграунде командой nohup. Или может в самом скрипте ошибка, выводить на экран больше отладочной информации.

Проверьте логи ядра, не убивается ли Ваш процесс ядром по нехватке памяти ?

---------- Добавлено 20.01.2019 в 11:43 ----------

Ну и в скрипт добавьте "метки" которые будут сбрасываться в лог

Так будет проще понять в чём дело, и на каком этапе ошибка

В общем поднял я на домашнем опенсервер. Загрузил таблицы, выполняю скрипт с лимитом в 200. Выполнился за 125 сек. Блин долго нет смысла. Проверяю сколько скан = 1. Ровно 200! Вспомниаю что хотел перевести таблицы в мемори. Первожу, выполняю скрипт - 38 сек!!! Смотрю сколько скан = 1, уже 398!!! А не 400 как должно. Еще раз 5 запускаю скрипт - кол-во скан плавно уменьшается от 200 к нулю. Т.е. поведение скрипта полностью такое же как и на сервере. Нужно пересмотреть его логику...