Загрузить большой xml

куда, как, чем загрузить?

837 записей - ни о чем

в бд

скриптом пхп используя SimpleXML

837 тысяч записей

Не использовать средства, которые будут пытаться грузить его целиком в память.

Сам я с большими xml на php не работал, но беглый гуглеж выдает вот такой пример: Парсинг XML с помощью XMLReader на PHP

сколько весит?

Использую http://php.net/manual/ru/function.simplexml-load-string.php для разбора XML файлов около 30-50 мегабайт на 1 млн элементов с 10-15 атрибутами у большинства элементов. Проблем нет, PHP 5.6, лимит памяти 256-512 мегабайт.

Можно взглянуть на код разбора XML? Какой размер XML файла?

под 300 метров

странно, с таким и simplexml без проблем справлялся

---------- Добавлено 27.12.2016 в 11:40 ----------

какая ошибка?

сначала писало, что памяти не хватает

увеличил

начало что-то другое писать

уже не помню

начал с XMLReader переписывать

---------- Добавлено 27.12.2016 в 14:30 ----------

Контент

while($reader->read()) {

	

        if($reader->nodeType == XMLReader::ELEMENT) {

          

            if($reader->localName == 'offer') {

			$k++;

               

                $data[$k]['id'] = $reader->getAttribute('id');

            

                 }

             

                  }

				  			  

		if($reader->localName == 'article') {

           

                 $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['article'] = $reader->value;

                }

             

                  }		  

     

	 while ($reader->localName == 'param') {

                $reader->read();

			  if($reader->nodeType == XMLReader::ELEMENT) {

          	$data[$k]['param'].= $reader->getAttribute('name')."!";

			

				}

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['param'].= ":".$reader->value."|";

                }

               }

	 if ($k==10) break;

	   }

    

	

	print_r($data);

Результат

Не берет первого атрибута

Не видит его

Не понимаю почему

while ($reader->localName == 'param') {

$reader->read();

после while $reader->read(); не нужно

Что то не то

 while($reader->read()) {

	

        if($reader->nodeType == XMLReader::ELEMENT) {

          

            if($reader->localName == 'offer') {

			$k++;

               

                $data[$k]['id'] = $reader->getAttribute('id');

            

                 }

             

                  }

				  			  

		if($reader->localName == 'article') {

           

                $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['article'] = $reader->value;

                }

             

                  }		 



	if($reader->localName == 'categoryId') {

           

                 $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['categoryId'] = $reader->value;

                }

             

                  }					  

				  

				  

				  	if($reader->localName == 'currencyId') {

           

                 $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['currencyId'] = $reader->value;

                }

             

                  }	

				  

				  

				  	if($reader->localName == 'description') {

           

                $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['description'] = $reader->value;

                }

             

                  }	

				  

				  	if($reader->localName == 'model') {

           

                 $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['model'] = $reader->value;

                }

             

                  }	

     

	 

	 	  	if($reader->localName == 'name') {

           

                $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['name'] = $reader->value;

                }

             

                  }

				  

				  

				  	  	if($reader->localName == 'oldprice') {

           

                 $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['oldprice'] = $reader->value;

                }

             

                  }

	 

	 while ($reader->localName == 'param') {

                

			  if($reader->nodeType == XMLReader::ELEMENT) {

          	$data[$k]['param'].= "*".$reader->getAttribute('name').":";

						}

				$reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['param'].= $reader->value."";

                }

               }

			   

			    	  	if($reader->localName == 'picture') {

           

                 $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['picture'] = $reader->value;

                }

             

                  }

				  

				  

				   	  	if($reader->localName == 'price') {

           

                $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['price'] = $reader->value;

                }

             

                  }

				  

				  

				   	  	if($reader->localName == 'url') {

           

               $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['url'] = $reader->value;

                }

             

                  }

			   

			      	  	if($reader->localName == 'vendor') {

           

                 $reader->read();

                if($reader->nodeType == XMLReader::TEXT) {

                    $data[$k]['vendor'] = $reader->value;

                }

             

                  }

	if (count($data[$k])>=11)  print $k."-".$data[$k]['id']."\n";

	if ($k==12) break;

	 

	   }

Выдает

по 7 раз один и тот же элемент "видит"

Что не так?