PHP, парсер больших CSV файлов

можно порезать на мелкие файлы например http://stackoverflow.com/questions/5391304/split-big-files-using-php

а обязательно ли парсить исходный csv с помощью пхп?

как на счет подключиться к мускулю через консоль и загрузить все напрямую в таблицу? через

load data local infile "путь/к/файлу" into table db.table fields terminated by ';' lines terminated by '\n' (pole1, pole2, pole3, pole4, pole5);

тоже самое из скрипта пхп:

mysql_query('load data local infile "путь/к/файлу" into table db.table fields terminated by \';\' lines terminated by \'\n\' (pole1, pole2, pole3, pole4, pole5)');

как вариант

можно еще весь csv вкинуть в мускул и потом через цикл в пхп тянуть что нужно. пример

LOAD DATA INFILE 'file.csv' INTO TABLE new_table

CHARACTER SET utf8

FIELDS TERMINATED BY ',' ENCLOSED BY ''

LINES TERMINATED BY '\n';

А еще можно парсить консольным скриптом и поставить ему неограниченную настройку времени выполнения - это чтобы 504 ошибки веб-сервера не было, т.е. исключить веб-сервер из процесса.

Если одна строка будет

1;2;3;4;5;6

А другая

1;2;3

?

Зальет в mysql?

только что провел тест)

тестовый файл

тестовый скрипт (доступен из веб)

результат

rec108:
только что провел тест)
тестовый файл


тестовый скрипт (доступен из веб)


результат

Спасибо большое) Очень помогли)

Всегда построчно CSV читал, проблем с большими файлами не было.

Пример есть: http://www.php.net/manual/en/function.fgets.php или http://www.php.net/manual/en/function.fgetcsv.php

fgetcsv - читает построчно и разбирает csv. Еще и делимитер можно указать.

В HeidiSQL есть стандартная функция Tools -> Import CSV file..

До сих пор у меня с ней проблем не было. Достаточно гибкие настройки импорта.