_SP_

Рейтинг
381
Регистрация
24.03.2008
kxk:
_SP_, Я дал линку, делает что пожелаете :)

Да, ваша вполне хорошая. Дороговато только как по мне.

Для кого-то, безусловно, это хороший вариант, мне, похоже, будет дешевле сделать самому, есть нужные скиллы.

Зы. Не, своим провайдером я такого делать не буду, я в этих сервисах зареган и еще предполагаю ими пользоваться :).

Ну его нафиг. Даже при использовании прокси канал планирую использовать отдельный.

TF-Studio:
_SP_, а вы можете чуть более развернуто пояснить свои мысль по поводу апи этого.
Нюансов-то много.
Крупняки парсить многопоточно в лоб не выйдет. Нужна имитация браузера.
по вашему описание - совсем не ясно. по сути - простейший скрипт нужен с curl в цикле.
не ясно в чем загвоздка была.

Да ни в чем нет загвоздки.

Я бесспорно накатаю свою инфраструктуру, однако можно было бы этого и не делать, если есть готовая. Апи простой был бы удобен. Ты ему - кучу урлов, он тебе выдачу по этим урлам.

Желательно еще и хорошенько зазипованную (если это не графика).

С крупняками будем смотреть, но что-то мне подсказывает, что никуда они не денутся, потихоньку будут отдавать разным прокси содержимое даже и без имитации браузера. Но надо экспериментировать конечно. Речь не о сотнях миллионов страниц, речь о десятках-сотнях тысяч ежедневно.

Странно, во всех других областях американцы и европейцы готовы драться и за небольшие заказы...

Впрочем, какая разница откуда ? IP необязательно американские, слава богу целевые сервисы доступны из любой страны мира.

А есть ли смысл ?

Я никогда ничего всерьез не грабил, только у меня грабили :)

Мне надо нединамическую картину снимать, т.е. по миллиону запросов в день не нужно.

Что-то сомневаюсь я, что будут банить при запросе 1 страницы с ip раз скажем (в среднем) в 5с.

Это без малого 20к страниц в день с одного ip. Мммм... яб такие ip банил конечно :)

Какие реально лимиты у подобных амазону-ебею-клоудфларе сервисов можно ожидать ?

Явно ведь не по одной странице на пользователя.

А если по 20к можно вынимать, то мне и десятка хватит... нормальных прокси.

200к страниц в день - это достаточно, чтобы загрузить текущие аналитические мощности,

не всё алгоритмизируется, результаты всё равно перепроверять в полуручном режиме.

Тут скорее вопрос у кого правильнее этот десяток взять, чтоб потом не материться.

СтасГапотченко:

-Какие языки программирования сейчас востребованы, какие сейчас в тренде?
-Какие фраймеворки, библиотети, технологии актуальны и перспективны и т.д.?
-Какой сейчас IT рынок?

К моменту когда вы станете специалистом - это будут уже другие языки.

Программирование к языкам отношения не имеет.

http://fanread.ru/book/2221251/?page=1

Не стоит вроде... ни там, ни сям. Странно на самом деле.

e_v_medvedev:
Эти 2 фактора и дают уверенность

Т.е. в код даже и не смотрим, главное бренды :). Про зенд повеселило.

e_v_medvedev:

Кстати осознав это другой крупный игрок на этом рынке, Prestashop, тоже перевел разработку платформы со своих доморощенных библиотек на другой профессиональный фрэймворк - Symfony. Это мэйнстрим развития программного обеспечения веб-строительстве и ни один серьезный разработчик не станет это оспаривать.

Нет, оспаривать то, что мейнстрим ведет в жопу ни один серьезный разработчик не будет.

Инструменты "для дебилов" приводят к написанию этими дебилами якобы работоспособного

кода, который на деле не делает ничего правильно, разве что случайно. Таков мейнстрим. Увы.

А вот в частности про престу много что имею сказать. Очень примечательно что вы его хвалите.

На деле тупое, тормозное, уродское глючище.

Написано дебильными индусами без всякого понятия о том, как должен выглядеть коммерческий продукт.

Эти дебилы пишут информацию о профайленге в основную базу данных.

Они-же на вопрос юзеров "нахрена нам URL-ы типа /category-1/item-354235 ?"

отвечают, что id - это хорошо и правильно, и так всегда и будет.

Они-же засунули в релиз 1.7 дохрена свистелок и перделок, но доделать свой-же

one page checkout ума не хватило.

Вообще список того, что пришлось вырвать раскаленными щипцами или переделать

бесконечен, на деле ничего ими сделанное в нормальную работу не годится.

Баги годами не фиксятся, новые релизы хуже старых...

Точнее им хватило ума окончательно испоганить то, что хоть как-то работало.

Проект изначально сделан по следующей модели. Вы получаете код бесплатно.

После того как вы "подсели", оказывается что он не умеет того, что вам надо.

После этого, вы можете купить на несколько тысяч евро "аддонов" в "фирменном магазине",

и ситуация чуть улучшается. Монетизация такая хитрая.

Причем на выходе вы имеете глючного и тормозного монстра, который "еле дышит",

в качестве "исскуственного дыхания" ему приходится приделывать агрессивное кеширование итд итп.

В принципе я понимаю, почему некоторые пропагандируют подобные "решения".

Если клиент на него подсел, то из него бабки можно сосать бесконечно.

Очень неплохо впаривать аддоны по нескольку раз разным юзерам оплатив их

единожды престе, и беря с юзеров по 100% цены.

Я всё понимаю. Но извинить не могу.

ЗЫ. Преста была одним из тех решений, после нескольких недель трахача с которым,

добившись, что всё работает "почти как надо" было принято решение выкинуть его нафиг,

переписав нужный функционал самостоятельно. И слава богу. Теперь ничего не глючит

и всё летает. И внося изменения понимаешь куда они ведут.

Без всяких бутстрапов и симфони. Есть вещи, в использовании которых заинтересован только исполнитель...

ЗЫЫ. Да вы посмотрите сколько запросов в БД эти дебилы делают для генерации

одной страницы, причем зачастую с флагами игнорирования кеша... убил бы ей богу...

dag:
Это действительно так. Но откуда гарантия что "свои спецы" напишут лучше?

Нет никаких абсолютно. Единственный плюс ситуации - им надо писать только 5% объема, когда нету оставшихся 95% проконтролировать результат проще.

Ну а второй вариант - когда спец "ты лично", ты пишешь в соответствии со своими понятиями

о том, кто хорошо, а что плохо.

Еще полгода назад я думал, что качество кода в коробках лучше, чем у среднего разработчика.

Либо мои понятия о "среднести" завышены, либо просто не повезло...

Всё, что могу посоветовать - взять 1-2 ключевых фичи (скажем чекаут пейдж) и попытаться

достичь их отличного поведения, т.е. не "вроде работает - потом допилим", а вот так, чтобы

прям "как щаз - так навсегда и оставим". В подавляющем большинстве коробок вы встретите

очень большие проблемы, и будете вынуждены пойти на слишком суровые компромиссы.

А нужна ли вам "за это" анимация в админке, каждый решает сам за себя

silicoid:
_SP_, Мадженто - не плохой специализированный двиг, только одно маленькое но. При наличии мешка-другого денег и толпы разработчиков в штате. На нем, например, ламода сделана

Если узко специализированный - хорошо, но что-то сомневаюсь.

Опыт допила под довольно невинные проекты других движков говорит о том, что если надо "по-нормальному", то оказывается, что "на выходе" от исходного движка остается только название, а выпиливание криво написанных индусами свистелок и перделок занимает до 2/3 времени.

Буквально ничего не работает так, как дОлжно. Нет, с этим можно смириться конечно...

Если у вас есть мешок денег и толпа разработчиков, то я не очень понимаю, зачем связываться с чужими неоптимальными решениями.

Если в "средней коробке" 95% вещей вам не нужны, либо работают неверно, то свой штат без особых проблем оставшиеся 5% напишет и с нуля.

И это будет ровно то, что нужно, а не сплошные костыли и грабли.

Я вообще еще полгода назад был большим оптимистом. Потому, как был фигово информирован.

С тех пор на моей голове и попе волосы не раз дыбом вставали, когда я в код популярных коробок

заглядывал. Уверяю вас, чтобы крепко спать, лучше даже и не знать, что там понаписано.

silverman_oleg:
Есть недоделанный сайт на PrestaShop. И еще 2-3 похожих проекта в месяц на этом движке

Осталось доделать: корзину, карточку товара, фильтр, новости. Пишите в скайп riskman_oleg

Еще не забудьте допиливание one page checkout, ЧПУ, итд итп.

Я всё это "как вспомню, так вздрогну".

PS. You store в качестве тайтла для главной страницы "жжет".

PPS. 2mb для главной, это вам еще повезло, бывает и много больше.

Всего: 6087