alexber220

Рейтинг
80
Регистрация
03.01.2008
Большая проблема с парсерами

В Google поиске сделано просто. Если с 1 ип больше опеределённого кол-ва запросов в минуту идёт выдаётся страница с капчей, если не бот докажи. (5-10 страниц в секунду - жесть)

CRON. Всё перепробывал, не работает.
Ew-ru:
Здравствуйте!
Не могу разобраться с Cron, может мне путь нужно прописывать другой или что-то не так делается.


/usr/bin/php /www/site.ru/cron.php
или
/usr/bin/php /home/пользователь(фтп?)/public_html/site.ru/cron.php


/home/пользователь(фтп?)/www/site.ru/cron.php
или
/usr/local/bin/php /home/пользователь(фтп?)/public_html/site.ru/cron.php


П.С. Панель управления ISPManager;
каждый раз, к команде автоматически приписывается ">/dev/null 2>&1".

попробуйте

cd /home/пользователь(фтп?)/public_html/site.ru/ && /usr/local/bin/php /home/пользователь(фтп?)/public_html/site.ru/cron.php

или

cd /home/пользователь(фтп?)/public_html/site.ru/ && /usr/bin/php /home/пользователь(фтп?)/public_html/site.ru/cron.php

Запуск крона
Pycckoe1:
Вопрос как можно запускать пхп скрипты через крон от имени апача?

можно так попробовать wget http://site.com/script.php

Помогите выбрать web сервер

Для уменьшения трафика можно gzip включить и картинки пожать без потерь.

На счёт высокой загруки проца апачем думаю акселератор какой-нибудь можно поставить или кэширование сделать.

Как закодировать javascript код?
plamar:
Подскажите как закодировать файл типа .js чтобы у меня не могли спереть мой код (но при этом файло должен остаться работоспособным).

Как вариант. http://closure-compiler.appspot.com/home Правда он только оптимизирует. Но если код достаточно большой разобраться будет не просто.

В гугле полно обфускаторов по запросу js obfuscator, но я пользуюсь closure-compiler т.к. он увеличивает скорость работы, а большинство обфускаторов увеличивают его. Так получается двух зайцев и разобраться не просто и шустрее работает.

alexber220 добавил 29.12.2009 в 13:59

pelvis:
Никак. 10 кодов.

Защититься не льзя, но можно сделать взлом экономически не выгодным, правдо в большинстве случаев затратное мероприятие.

Новая фишка в Гугл-Вебмастер
__Sander__:
Вы уверены? Мне казалось, что когда сервер не отдает информацию из-за малого числа обработчиков запросов, то это учитывается в headers а не queue.
queue выстраивает сам браузер, когда достигает лимита в 2/6/8 запросов к серверу

Извиняюсь перепутал. Думал queue - это сколь времени запрос ожидал в очереди на сервере.

Тогда разнести статику по 4-м субдоменам.

Новая фишка в Гугл-Вебмастер
tysson:
Господа!
подскажите, что у меня не так:

State Total time
queue 1933.4 s 96%
resolve 4.2 ms 0%
connect 21.7 s 1%
headers 52.0 s 3%
body 15.9 s 1%

Start time (GMT) 2009-12-26 09:29:37
Download time 17.7 s
Connects 269
Requests 269
Not found 22
Documents total size 1 835 576 B
Headers total size 68 873 B
Compressed objects 1
Compressed bytes 174 948 B
Average compress ratio 13 %
Effective compress ratio 91 %
Average download speed 849 Kbit/s
Effective download speed 927 Kbit/s


Кэширование включено. Время жизни кэша 10 минут.
GZIP-сжатие страниц включено.

Not found 22

На странице 22 внешних файла, про которых сервер говорит что их нет (404 ошибка).

Connects 269

Requests 269

Однозначно что при таком кол-ве объектов нужен keep-alive

Compressed objects 1

GZIP настроен только в движке при отдаче сгенерированной страницы

нужно включить gzip и на сервере тоже для js, css и других текстовых файлов

Documents total size 1 835 576 B

нужно уменьшить этот размер (картинки пожать, уменьшить кол-во постов или едениц информации на странице и т.д.)

queue 1933.4 s 96%

нужно покрутить настройки http сервера в сторону увеличения кол-ва обработчиков запросов

Новая фишка в Гугл-Вебмастер
__Sander__:
Минусы распараллеливания на разные домены:
1) Разрешение лишних dns. Это может быть потерей времени.
2) Безусловное разделение скачивания на разные потоки. А каждый поток - это новый процесс apache. Тем самым, если apache плохо настроен и лишних простаивающих процессов нет, то тратится время на запуск этих процессов.

1) иногда оно того стоит. далеко ходить не надо посмотрите на google maps.

2) на VDS и выделенном сервере статику можно и через nginx отдавать.

ещё один плюс выноса на сабдомен статики - кука не передаётся при каждом запросе.

Новая фишка в Гугл-Вебмастер
tutonhamon_:
средний 55%, время отклика 17.9, если ищут нужную информацию, то подождут :)
нервные проходят мимо 🚬

Подход называется: проблемы индейцев шерифа не волнуют. Чтож показатель отказов всё показывает :).

Новая фишка в Гугл-Вебмастер
tutonhamon_:
ну не знаю, вот сегодня зашел в Гугл-Вебмастер и мой сайт на 99 процентов медленнее других, и туева куча ошибок. Сайт очень большой, больше миллиона страниц, но при этом в топе по многим жирным кеям (буржунет). Так что прямой зависимости пока не наблюдаю.
В будующем кто его знает, если появятся проблемы начну думать, может сервер поменяю.

Если сайт загружается больше 20 сек я закрываю вкладку. Время деньги и ждать по полчаса пока откроется страница не у всех нервы выдерживают. Согласно гугланалитикса интересно какой показатель отказа?

1 23456 7
Всего: 66