Вопрос по скрипту.

43

seo-opt

1 декабря 2009, 17:52

455

Скажите, я запустил один скрипт(WebGrabber), который парсит сайты, и оставляет спарсенные страницы на сервере. После того как он спарсил около 30 тысяч страниц, мне начала выдаваться ошибка:

Fatal error: Allowed memory size of 33554432 bytes exhausted (tried to allocate 71 bytes) in /home/bizdelo/public_html/........ on line 228

Скажите, что мне делать в данной ситуации? Это моя проблема, или проблем хостера. Если моя, то как можно её решить?

[Удален]

1 декабря 2009, 18:07

#1

превышена нагрузка на сервер. http://expressionengine.com/knowledge_base/article/allowed_memory_size_of_xxxxxxx_bytes_exhausted/

вот здесь решение http://www.tech-recipes.com/rx/777/solve-php-fatal-error-allowed-memory-size-of-8388608-bytes-exhausted-tried/

153

Коля Дубр

1 декабря 2009, 18:16

#2

1. Проблема - закончилась оперативная память, которую может сожрать PHP.

2. 35 мегов - это довольно много. На шаред-хостинге едва ли дадут увеличить, но все же попробуйте

ini_set("memory_limit","50M");

3. Вероятно, скрипт устроен неправильно, едва ли есть реальная необходимость держать столько добра в памяти. Обратитесь к разработчику - как правило, можно найти, что за мусор скапливается.

4. Если скрипт умеет сохранять состояние и стартовать с произвольного места - можно выкрутиться относительно просто - в итерации проверять, сколько памяти потрачено, и при приближении к лимиту - сохраняться и прекращать работу с последующим повторным вызовом.

Разрабатываю общую шину (http://habrahabr.ru/company/floxim/blog/268467/) помаленьку. ...а еще у меня есть бложек (http://www.blogovo.ru/).

Почему возникает ошибка в NGINX + PHP-FPM Быстрая индексация страниц сайта

[Удален]

1 декабря 2009, 18:25

#3

На ВПС в настройках можно увеличить лимит используемой памяти, а на обычном хостинге через htaccess делается.

386

dkameleon

1 декабря 2009, 18:25

#4

seo-opt:
Если моя, то как можно её решить?

раскладывайте файлы по поддиректориям :)

думаю, где-то читаете все сразу, вот и возникла проблема.

Дизайн интерьера (http://balabukha.com/)

569

Dreammaker

1 декабря 2009, 19:23

#5

А мне кажется, что скорее всего в цикле где-то каждый раз пересоздаётся объект, а в пхп с этим бывают проблемы в виде утечки памяти.

43

seo-opt

1 декабря 2009, 21:08

#6

всем спасибо за ответы!

написал хостеру, что можно сделать, хостер сказал в .htaccess прописать:

php_value memory_limit 64M

Прописал, и тьфу тьфу тьфу, проблема разрешилась.

Курс биткоина превысил $50 тысяч

Все что нужно знать о DDоS-атаках грамотному менеджеру