postavkin

мне надо переработать файл. разово.

денвер- поищу что такое.спасибо

Спасибо. Попробовал. Не, хватает на 10 тыс строк

$cvcvcvcv=0;    
$filesotbor = fopen($fajl2,'w');//открываем файл в режиме записи данных // заодно УДАЛЯЕТ СОДЕРЖИМОЕ ФАЙЛА

$handle = @fopen("file/iqcbhqelxh.csv", "r");
if ($handle) {
    while (($buffer = fgets($handle, 4096)) !== false) {
       // echo $buffer;
                $cvcvcvcv++;
                                if ($cvcvcvcv == 100 ) {echo "<br>обработано $cvcvcvcv";}
                                if ($cvcvcvcv == 1000 ) {echo "<br>обработано $cvcvcvcv";}
                                if ($cvcvcvcv == 10000 ) {echo "<br>обработано $cvcvcvcv";}
                                if ($cvcvcvcv == 100000 ) {echo "<br>обработано $cvcvcvcv";}
                                if ($cvcvcvcv == 300000 ) {echo "<br>обработано $cvcvcvcv";}
                                $vbzx = array();
                                $stroka = $buffer;

                                
                                $vbzx = explode('"', $stroka);
                                        $url = $vbzx[1];
                                        //echo "<br>$url";
                                
                                if (in_array("$url", $urlmass)) {
                                        //echo "Нашёл $url<br>";
                                } else {
                                        //echo "Нету $url добавим<br>";
                                        $urlmass[] = $url;
                                        $newmass[] = $stroka;
                                        $stroka = trim($stroka, "\n");
                                        $e = "$stroka\n";
                                        fwrite($filesotbor,$e);
                                }
                
                
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачу\n";
    }
    fclose($handle);
        fclose($filesotbor);//закрываем файл
}

о, интересно.  Это похоже построчное чтение файла... или я не верно понял

Разделив файл я не понимаю, как можно оставить уник для всего файла. Уник то можно будет оставить только для "кусков". Конечно можно их потом объеденить и ещё раз уникализировать....

А как на локалке, чем?

База ругается. Началось неплохо. По 500-700 тыс строк добавлялось. Сейчас уже 7я итерация. Ставлю пропустить sql запросов  2470042  и добавляет в базу всего 100 тыс срок...

1р 1Мб, 1р 1сек. Увеличить то могу, за денежку, но я же не знаю на сколько нужно))

Сейчас пробую залить этот файл в базу Mysql, ругается что файл большой, ну может в 5 итераций закину...

                $fajl2='price-result.txt';

                $naborprices = array('file/iqcbhqelxh.csv');

                
                foreach ($naborprices as $value333) {
        
                        $fajl1=''.$value333.''; 
                        $file1 = array();
                        $file1 = file($fajl1);

                        $cvcvcvcv=0;
                        foreach ($file1 as $value555) {
                                $cvcvcvcv++;
                                if ($cvcvcvcv == 100 ) {echo "<br>обработано $cvcvcvcv";}
                                if ($cvcvcvcv == 1000 ) {echo "<br>обработано $cvcvcvcv";}
                                if ($cvcvcvcv == 10000 ) {echo "<br>обработано $cvcvcvcv";}
                                if ($cvcvcvcv == 100000 ) {echo "<br>обработано $cvcvcvcv";}
                                if ($cvcvcvcv == 300000 ) {echo "<br>обработано $cvcvcvcv";}
                                $vbzx = array();
                                $stroka = $value555;

                                
                                $vbzx = explode('"', $stroka);
                                        $url = $vbzx[1];
                                        //echo "<br>$url";
                                
                                if (in_array("$url", $urlmass)) {
                                        //echo "Нашёл $url<br>";
                                } else {
                                        //echo "Нету $url добавим<br>";
                                        $urlmass[] = $url;
                                        $newmass[] = $stroka;
                                }
                                
                        }
                        echo "<br>обработано";
                
                
                
                
                        $filesotbor = fopen($fajl2,'w');//открываем файл в режиме записи данных // заодно УДАЛЯЕТ СОДЕРЖИМОЕ ФАЙЛА
                        foreach ($newmass as $value) {
                                $value = trim($value, "\n");
                                $e = "$value\n";
                                fwrite($filesotbor,$e);
                        }
                        fclose($filesotbor);//закрываем файл
                
                }

В файле iqcbhqelxh.csv  3700000 строк.

Каждая строка имеет условно такой вид

"alibaba":true:true:false:"2020-11-30 12:27:49":2819:portugal

ошибка вываливается в строке где $file1 = file($fajl1);

ругается на ресурсы

Ну я не разбиваю. Только пытаюсь прочитать файл целиком.

Поясните, пожалуйста...

пессимизация, не?

ну минусинск, панда