meverikxp

Рейтинг
73
Регистрация
03.06.2012
Solmyr:
У апача ж говорю. Таймаут на соединение. Без разницы пхп там или не пхп.

понял, где что искать и что изменить?

---------- Добавлено 19.06.2014 в 17:06 ----------

sasha_123:
meverikxp, весь процесс идёт в одном скрипте? Нет перекидывания части парсинга в другой?

Да в одном, идет цикл и генерируется ссылка потом по ней парсится страница

---------- Добавлено 19.06.2014 в 18:51 ----------

meverikxp:
понял, где что искать и что изменить?

---------- Добавлено 19.06.2014 в 17:06 ----------


Да в одном, идет цикл и генерируется ссылка потом по ней парсится страница

Я делаю сайт на Yii framework, возможно в нем проблема, а не в самом апаче?

Solmyr:
Есть же таймаут у апача.

в php.ini прописал

max_execution_time= 0

max_input_time = 0

VulkanPartner:
504 это таймаут же. Где, как и когда она вылазит? На сайте доноре?
И что тест через крон показал? По логам отработало нормально?

через 30 сек. вылозит ошибка

написал логирование то на полслова оборвалось, те не все слово целиком написалось, что означает что сервер скрипт вырубает, но вот почему это вопрос

---------- Добавлено 19.06.2014 в 15:38 ----------

meverikxp:
через 30 сек. вылозит ошибка

написал логирование то на полслова оборвалось, те не все слово целиком написалось, что означает что сервер скрипт вырубает, но вот почему это вопрос

cron поработав 30 сек выдал ошибку

Exited with return code = 8
foxi:
meverikxp, если не помогло - значит хостер своими настройками блочит. Или запускаете со своего сервера?

Запускаю из выделеного сервера, сейчас вылазит 504 ошибка

---------- Добавлено 19.06.2014 в 12:42 ----------

VulkanPartner:
meverikxp, не уточнили, но на всякий случай скажу, что запускать надо только из крона скрипт, иначе из браузера он будет все равно отваливаться. Еще как вариант допишите примитивное логирование, возможно, скрипт при парсинге натыкается на что-то такое, что приводит к ошибке и останавливает его работу. Такое тоже часто случается...

Попробую с крона поскольку действительно с браузера запускал, насчет логиравания, веду, на ошибки не натыкается поскольку каждый раз доходит до иных мест, в зависимости сколько ссылок сможет обработать за выделеное время

---------- Добавлено 19.06.2014 в 13:31 ----------

meverikxp:
Запускаю из выделеного сервера, сейчас вылазит 504 ошибка

---------- Добавлено 19.06.2014 в 12:42 ----------


Попробую с крона поскольку действительно с браузера запускал, насчет логиравания, веду, на ошибки не натыкается поскольку каждый раз доходит до иных мест, в зависимости сколько ссылок сможет обработать за выделеное время

Попробовал через ssh wget вылазит 504 ошибка, подскажите как решить эту проблему?

TitanIKS:
<?php
set_time_limit(0);

не помогло :(

Спасибо буду пробовать

LEOnidUKG:
или у вас тормозной браузер или тормозной интернет :)

А вообще можно стили задать прямо в HTML и тогда будет быстрее обрабатываться.

Можно но меню динамическое, и плагин все так красиво сам все делает )) не хотелось бы разбирать все, поскольку выплывает много проблем

Все же решил задачу немного другим способом,сделал запрос с левым соединением объявлений (в объявлениях только выбираю количество строк), и в пхп циклом подсчитываю количество для родительских категорий.

PS. Таблицы категорий сделана по Nested set

teent:
Вы мыслите правильно: оптимальным является создания дополнительного параметра для категории, который бы учитывал количество объявлений. При этом не забудьте корректно уменьшать и увеличивать число, при удалении и добавлении, соответственно. Что же касается фильтра, то в указанном Вами примере он никак не влияет на количество записей. Цифра указывает на общее число объявлений.
Но логика, которую Вы преследуете используются во многих интернет-магазинах.
Я советую Вам использовать постоянные параметры для случаев, когда пользователь на использует фильтры и count, когда необходимо учитывать запрос.

с дополнительным параметром есть проблемы с фильтрами пока не особо понимаю как сделать, но появилась следующая идея, если сделать соединение двух таблиц, категорий и объявлений, с таблицы объявлений выбрать только count, (тут соглашусь что уйдет немного ресурсов), получится выборка будет иметь количество объявлений для категорий и сами свойства категории, а далее выводить в меню эти свойства в блок с определенным классом, и уже с помощью jQuery('ul li .myclass').html() подсчитать количество для родительских категорий. Что скажете по такому методу?

Alex Klo:
если только совсем готовый...
(что такое "готовый костяк" - 25% от нужного результата? или просто 100% копия? ;) )
(у меня 2 программиста полгода "просто-сайт" делают, не "типа соцсеть"...:) )


готовый костяк в Вашем понимании - это фреймворк?
в моём - это то, что почти надо клиенту.

Костяк цмс. а не сайта)) Я делал несколько подобных проектов на готовых цмс, в принципе сайты норально работают, но там небольшие нагрузки. Здесь заказчик хочет делать на отдельной цмс для конкретного сайта, смысл поста был в том нужно ли заказчика переубеждать или все же нет, мое мнение остается делать на фрейме поскольку и заказчик так хочет и мое мнение таково что для больших проектов нужна своя цмс, а не использование опенсоурс.

Всего: 112