Создание парсера интернет магазинов

Ну, я психолог (ф-т психологии МГУ). Вы настаиваете на психологической интерпретации вашего поведения в этом топике?

Вы что там курите ? Выводы АБСОЛЮТНО другие.

Выводы, что парсер чего-то(а конкретно "нескольких ИМ"), написанный человеком, который отлично понимает что ему нужно, имеет себестоимость да - порядка тысяч $.

Это не то, что описано в первом и других сообщениях, поскольку:

1. слово несколько - это менее 10, он парсит несколько ресурсов , а не десятки тысяч, всего-то в 1000 раз меньше работы делает :)

2. написан человеком, по четко сформированному ТЗ, а не по потоку сознания неграмотного технически заказчика, еще и мнящего себя спецом (убийственная комбинация)

3. указана строго говоря себестоимость, "в продажу" мог бы быть сделан, но дороже, прибыль как-бы всем нужна, не только вам :)

итд итп.

Никаких парсеров для десятков тысяч разных ИМ, ни за какие тысячи долларов вы не получите.

Максимум - бота, который обойдет все урлы и все эти терабайты вывалит вам на диск.

Предлагаю еще обсудить такой вопрос - нужна ли этому парсеру база данных или можно без неё обойтись, нагенерив всё в статику.

🍿🍿

Дикий пионер, это детали реализации, а ТЗ нет :)

После физибилити от какой-либо БД отказался в сторону файловой системы.

Более компактное хранилище получилось, меньше требований к хостингу (работает на 512мб, думаю и на 128 будет) итд итп.

Так что обсуждать тут в общем-то нечего. Парсеру реляционная бд нафиг не впилась.

Можно было бы использовать nosql, но нету никакого смысла.

Сейчас посмотрим что будет с >5 000 000 "документов", возможно придется перекачивать всё в БД на этапе анализа, но не факт.

С сотнями тысяч прекрасно работает и в ОЗУ. Иногда есть проблемы с индексами (их нет), но в целом аналитика не реалтайм,

поэтому я могу и потерпеть, зато жрет мало места.

Возможно просто допишу индексы, делов там немного в общем-то...

---------- Добавлено 18.06.2018 в 16:18 ----------

Тут половина подписчиков не понимает, как можно работать без mysql и прочего, подчас ненужного хлама.

Но вместо глубоких раздумий "чё я делаю не так" предпочитают троллить :).

Сколько страниц наваяли, а ТС так и не написал, что он собирается делать, после того как данные спарсит.

А же показал в первом посте сайт, который является и парсером и бизнесом. Мне нужен такой же. Начинать буду с того, с чего смогу.

Тема эта сильно помогла. Вариантов искать исполнителя тут тем же методом больше не рассматривается.

Что касается того, почему я так отношусь к программистам, которые тут дают "умные" советы. У меня в классе еще в школе со мной учился человек, взявший 3 место по России на олимпиаде по программированию, ну и вообще в классе были ребята серьезные. Сам я лет 10+ с сайтами работаю в качестве владельца и создателя. Были очень большие сайты у меня. Чтобы не быть голословным прикреплю скрин моей активности на Телдери.

Что я хотел этим постом. Хотел понять можно ли на коленке за 3 копейки сделать? Откуда такие вопросы. Потому, что я за последний месяц запустил форум и сайт в очень хорошей нише, почти пустой, которые уже дают поисковой трафик. Сайт вообще удивил и дал 100+ уников в яндексе сразу со второго дня. И оба я сделал тысяч за 30 рублей с участием программиста и копирайтера. Оба будут большие я надеюсь при столь же небольших вложениях.

Что касается практики. Самый дорогой сайт я купил миллиона за полтора или 2 уже не помню. И все сайты, что я покупал за приличные деньги не приживались. А выстреливало то, что почти за так, но с любовью и энтузиазмом.

Тут же в этой теме я не вижу смысла продолжать обсуждение. Более того, мне какие-то реально "больные на голову" с ущемленным самолюбием люди поставили минусы. Несколько плюсов и 1 минус, который всю репутацию увел в минус. И спрашивается зачем? Разве я виноват в их предельной глупости? И что я должен делать, когда не умные однозначно люди тут в теме мне пишут пренебрежительным тоном?

Последняя моя была с 2 высшими 1 из которых психология. Даже практиковала. и друзей много с дипломами психологов. Извините, к сожалению в нашей стране бумажка которую выдают после окончания вуза по мне дешевле туалетной, так как дипломом даже в туалете воспользоваться никак не выйдет, жестковат.

Я не знаю какой вы психолог, но исходя из жизненного опыта и общения с большим количеством людей, окончивших институт по этой специальности, я слишком пессимистично отношусь вообще к тем, кто себя психологами считает лишь на основании обучения в наших вузах.

Вы не можете ничего интерпретировать, основываясь на десятке моих постов. Само ваше предложение абсурдно. Любой, даже примитивный человек, намного сложнее, чем прочесть его за 3 минуты в топике форума. Я бы мог попросить вас высказаться, но не буду, так как если тут еще и психологи будут мне диагноз ставить, не видя меня, не общаясь со мной..... Просто, потому что они могут в изученный ими шаблон вогнать 3 мои поста и сделать выводы..... Вы знаете, после вот этой темы остается неприятный осадок в целом. Потому, что этот непроходимый лес невежества нашего общества абсолютно во всех сферах и есть причина нашего нищего существования как страны. Не верхушка виновата, а общество. Нужно расти, умнеть, развиваться, блин....

---------- Добавлено 19.06.2018 в 03:31 ----------

Мне кажется в разы легче было сразу процитировать то, что темы не закрываются, а не писать про читайте правила. Я инструкции к бытовым приборам и т.п. стараюсь не читать, а не правила форума....

Если у вас в порядке вещей читать правила форумов, когда вы пишите, то у меня нет. Опять же пример из жизни. Одна из услуг, которую оказывают поставщикам - рассылка рекламы по форумам. Совсем недавно я лично зарегистрировался в 150 форумах. Вы предлагаете перед тем, как туда что-то мне добавить, ознакомиться с их правилами?

Это достопамятные топики в разделе :)

---------- Добавлено 19.06.2018 в 11:03 ----------

Ага, за тебя!

Найти где находятся правила, прочитать, найти нужное, скопипасть.. Разжевать и в рот положить. Думалка совсем не желает работать. Лень-матушка.

И вот в этих желаниях явно прослеживается связь со всем тредом.

Это воще прелЭстно :)..

Совершенно согласен, что связь прослеживается. И да, я такое количество программистов видел, которые сначала говорят, сделаем демон он там что-то делать будет, птом берут пару тыс баксов, потом пару месяцев творят. Потом это их творчество не сразу, а через пару месяцев при росте нагрузки валит 2 сервера серьезных, а они говорят - нужно еще денег и к ребятам обратимся, которые оптимизацией займутся, а потом пропадают. Я работал с такими кадрами еще 10 лет назад и хорошо представляю что это за личности. И да, если есть опыт, читать все подряд не стоит. Интуиция в большинстве случаев не подводит. Особенно если люди с тобой на ты начинают общаться и учить.

Раз уж тут у всех так рвет еще пример из жизни.

Я уже очень большое количество лет не беру в штат мужчин, вообще, принципиально. Бывают исключения, но редко. В основном сдельно работаю.

Правда эти работы у меня не по созданию сайтов там, а более простые. Но все мужики, которые приходят, сразу начинают с того, что говорят как это можно усовершенствовать, что мы делаем не правильно - короче все до одного знают как надо. Но вот делать почти никто ничего не готов. То есть поучить они всегда, а как до дела доходит, то им чего-то всегда не хватает. Это практика 10+ лет работы с людьми, с большим количеством.